Databricks Runtime 11.2 (EoS)
Nota:
El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.
En las siguientes notas de la versión, se proporciona información sobre el componente Databricks Runtime 11.2, con tecnología de Apache Spark 3.3.0. Databricks publicó esta versión en septiembre de 2022.
Nuevas características y mejoras
- Se han cambiado los permisos de ALTER TABLE en los controles de acceso a tablas (ACL de tabla)
- Eliminación dinámica para MERGE INTO
- Detección de conflictos mejorada en Delta con eliminación dinámica de archivos
- Nueva tarjeta de integraciones de código abierto en las páginas principales de DSE/SQL
- Mejoras en la detección de particiones de CONVERT TO DELTA
- Ahora, en los esquemas de tabla, se admite el uso de valores predeterminados para las columnas
- Nuevas funciones geoespaciales H3
- Nueva dependencia de Databricks Runtime
- Traiga su propia clave: cifrado de credenciales de Git
- SQL: nueva función de agregado any_value
- El uso de los comandos del sistema de archivos de utilidades de Databricks se admite en más tipos de clúster
- Ahora se pueden conceder privilegios CREATE en metastores para el catálogo de Unity
- Escrituras optimizadas para tablas sin particiones en clústeres habilitados para Photon
- Se ha agregado compatibilidad con Photon para más orígenes de datos
- SQL: ahora, en ALTER SHARE, se admite el uso de START VERSION
Se han cambiado los permisos de ALTER TABLE en los controles de acceso a tablas (ACL de tabla)
Ahora, los usuarios solo necesitan permisos MODIFY para cambiar el esquema o las propiedades de una tabla con ALTER TABLE. La propiedad sigue siendo necesaria para conceder permisos en una tabla, cambiar su propietario y ubicación o asignarle un nuevo nombre. Este cambio hace que el modelo de permisos de las ACL de tabla sea más coherente con Unity Catalog. Consulte ALTER TABLE.
Eliminación dinámica para MERGE INTO
Al usar el proceso habilitado para Photon, MERGE INTO ahora usa la eliminación dinámica de archivos y particiones cuando sea adecuada para mejorar el rendimiento, por ejemplo, cuando se combina una tabla de origen pequeña en una tabla de destino más grande.
Detección de conflictos mejorada en Delta con eliminación de archivos dinámicos
Ahora, cuando se usa el proceso de detección de conflictos para comprobar los conflictos posibles que pueden darse al hacer "commit", se tendrán en cuenta los archivos que pueden eliminarse mediante eliminación dinámica, pero que no se eliminarían mediante filtros estáticos. Gracias a esto, se reduce el número de transacciones erróneas.
Nueva tarjeta de integraciones de código abierto en las páginas principales de DSE/SQL
Introducción a la nueva tarjeta "Integraciones de código abierto" en las páginas principales de DSE/SQL que muestra opciones de integración de código abierto, como Delta Live Tables y dbt core.
Mejoras en la detección de particiones de CONVERT TO DELTA
CONVERT TO DELTA deduce automáticamente el esquema de partición de las tablas Parquet que están registradas en el metastore de Hive o el catálogo de Unity, lo que elimina la necesidad de proporcionar la cláusula PARTITIONED BY.
CONVERT TO DELTA saca provecho de la información de partición del metastore para detectar archivos de una tabla Parquet en lugar de enumerar toda la ruta de acceso base, lo que garantiza que las particiones anuladas no se agreguen a la tabla Delta.
Consulte Conversión a Delta Lake.
Ahora, en los esquemas de tabla, se admite el uso de valores predeterminados para las columnas
Ahora, en los esquemas de tabla, se admite el establecimiento de valores predeterminados para las columnas. En estas columnas, los comandos INSERT, UPDATE y DELETE pueden usarse para hacer referencia a estos valores con la palabra clave DEFAULT. Por ejemplo, la ejecución del elemento CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET junto con el elemento INSERT INTO t VALUES (1, DEFAULT) hará que se anexe la fila (1, 42). El uso de este comportamiento se admite con los orígenes de datos CSV, JSON, Orc y Parquet.
Nuevas funciones geoespaciales H3
Ahora, se pueden usar 28 nuevas expresiones H3 integradas para el procesamiento geoespacial en clústeres que estén habilitados para su uso con Photon. Estas están disponibles en SQL, Scala y Python. Consulte funciones geoespaciales H3
Nueva dependencia de Databricks Runtime
Databricks Runtime ahora depende de la versión 3.7.0 de la biblioteca de Java H3.
Traiga su propia clave: cifrado de credenciales de Git
Puede usar Azure Key Vault para cifrar un token de acceso personal (PAT) de Git u otra credencial de Git.
Consulte Configuración de carpetas de Git (Repos) de Databricks.
SQL: nueva función de agregado any_value
Al ejecutarse la nueva función de agregado any_value, se obtiene un valor aleatorio del elemento expr de un grupo de filas. Consulte la función de agregado any_value.
El uso de los comandos del sistema de archivos de utilidades de Databricks se admite en más tipos de clúster
Ahora, el uso de los comandos dbutils.fs (excepto los comandos que están relacionados con el montaje) se permite en los clústeres de aislamiento de usuario con Unity Catalog, así como en los clústeres ACL de tablas heredadas si el usuario tiene permisos ANY FILE.
Ahora se pueden conceder privilegios CREATE en metastores para el catálogo de Unity
Ahora se pueden conceder privilegios CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT y CREATE PROVIDER en metastores del catálogo de Unity.
Escrituras optimizadas para tablas sin particiones en clústeres habilitados para Photon
Ahora las tablas administradas del catálogo de Unity conservan automáticamente los archivos de un tamaño bien ajustado de las tablas sin particiones a fin de mejorar la velocidad de las consultas y optimizar el rendimiento.
Se ha agregado compatibilidad con Photon para más orígenes de datos
Photon ahora admite más orígenes de datos, incluidos CSV y Avro, y también es compatible con marcos de datos en caché. Anteriormente, el examen de estos orígenes de datos significaba que toda la consulta no se podía fotonizar, independientemente de los operadores o expresiones de la consulta. Ahora, las consultas que examinan estos orígenes de datos se pueden fotonizar lo cual permite desbloquear mejoras significativas de latencia y TCO.
Esta característica se habilita de forma predeterminada mediante la configuración de spark.databricks.photon.photonRowToColumnar.enabled.
Limitaciones:
- En esta versión no se admiten esquemas con tipos anidados (es decir, matrices, mapas y estructuras).
- Los orígenes de ORC, RDD, Kinesis, Kafka y EventHub no se admiten en esta versión.
SQL: ahora, en ALTER SHARE, se admite el uso de START VERSION
Ahora, en el comando ALTER SHARE se admite el uso del elemento START VERSION, que se usa para permitir que los proveedores compartan los datos que comiencen en una versión específica de tabla. Consulte ALTER SHARE.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- distlib: de 0.3.4 a 0.3.5
- filelock: de 3.7.1 a 3.8.0
- plotly: de 5.8.2 a 5.9.0
- protobuf: de 4.21.2 a 4.21.5
- Bibliotecas de R actualizadas:
- broom: de 0.8.0 a 1.0.0
- bslib: de 0.3.1 a 0.4.0
- callr: de 3.7.0 a 3.7.1
- caret: de 6.0-92 a 6.0-93
- dbplyr: de 2.2.0 a 2.2.1
- devtools: de 2.4.3 a 2.4.4
- evaluate: de 0.15 a 0.16
- farver: de 2.1.0 a 2.1.1
- fontawesome: de 0.2.2 a 0.3.0
- future: de 1.26.1 a 1.27.0
- generics: de 0.1.2 a 0.1.3
- gert: de 1.6.0 a 1.7.0
- globals: de 0.15.1 a 0.16.0
- googlesheets4: de 1.0.0 a 1.0.1
- hardhat: de 1.1.0 a 1.2.0
- htmltools: de 0.5.2 a 0.5.3
- parallelly: de 1.32.0 a 1.32.1
- pillar: de 1.7.0 a 1.8.0
- pkgload: de 1.2.4 a 1.3.0
- processx: de 3.6.1 a 3.7.0
- Rcpp: de 1.0.8.3 a 1.0.9
- recipes: de 0.2.0 a 1.0.1
- rlang: de 1.0.2 a 1.0.4
- roxygen2: de 7.2.0 a 7.2.1
- RSQLite: de 2.2.14 a 2.2.15
- sass: de 0.4.1 a 0.4.2
- shiny: de 1.7.1 a 1.7.2
- stringi: de 1.7.6 a 1.7.8
- tibble: de 3.1.7 a 3.1.8
- tidyverse: de 1.3.1 a 1.3.2
- timeDate: de 3043.102 a 4021.104
- xfun: de 0.31 a 0.32
- Bibliotecas de Java actualizadas:
- org.apache.orc.orc-core: de 1.7.4 a 1.7.5
- org.apache.orc.orc-mapreduce: de 1.7.4 a 1.7.5
- org.apache.orc.orc-shims: de 1.7.4 a 1.7.5
Apache Spark
Databricks Runtime 11.2 incluye Apache Spark 3.3.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 11.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:
- [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Devuelve tipos de intervalos ANSI más amplios a partir de las funciones de percentil
- [SPARK-40054] [SQL] Restauración de la sintaxis de control de errores de try_cast()
- [SPARK-39489] [CORE] Mejora del rendimiento de JsonProtocol del registro de eventos mediante Jackson en lugar de Json4s
- [SPARK-39319] [CORE][SQL] Creación de contextos de consulta como parte de
SparkThrowable - [SPARK-40085] [SQL] Uso de la clase de error INTERNAL_ERROR en lugar de IllegalStateException para indicar errores
- [SPARK-40001] [SQL] Hacer que las escrituras NULL en columnas DEFAULT de JSON escriban "null" en el almacenamiento
- [SPARK-39635] [SQL] Compatibilidad con métricas de controladores en la API de métricas personalizadas de DS v2
- [SPARK-39184] [SQL] Control de la matriz de resultados infradimensionada en secuencias de fecha y marca de tiempo
- [SPARK-40019] [SQL] Refactorización del comentario de containsNull de ArrayType y refactorización de las lógicas de malentendido en la expresión de collectionOperator sobre
containsNull - [SPARK-39989] [SQL] Compatibilidad con estadísticas de columna de estimación si es una expresión plegable
- [SPARK-39926] [SQL] Corrección de errores en la compatibilidad con la columna DEFAULT para exámenes de Parquet no vectorizados
- [SPARK-40052] [SQL] Control de búferes de bytes directos en VectorizedDeltaBinaryPackedReader
- [SPARK-40044] [SQL] Corrección del tipo de intervalo de destino en errores de desbordamiento de conversión
- [SPARK-39835] [SQL] Corrección de EliminateSorts de eliminación de la ordenación global debajo de la ordenación local
- [SPARK-40002] [SQL] No insertar el límite a través de la ventana mediante ntiles
- [SPARK-39976] [SQL] ArrayIntersect debe controlar null en la primera expresión correctamente
- [SPARK-39985] [SQL] Habilitación de valores de columna DEFAULT implícitos en inserciones de DataFrames
- [SPARK-39776] [SQL] La cadena detallada JOIN debe agregar el tipo Join
- [SPARK-38901] [SQL] DS V2 admite la delegación de las funciones misc
- [SPARK-40028] [SQL] [Seguimiento] Mejora de ejemplos de funciones de cadena
- [SPARK-39983] [CORE] [SQL] No almacenar en caché las relaciones de difusión no serializadas en el controlador
- [SPARK-39812] [SQL] Simplificación del código que construye
AggregateExpressioncontoAggregateExpression - [SPARK-40028] [SQL] Adición de ejemplos binarios para expresiones de cadena
- [SPARK-39981] [SQL] Se produce la excepción QueryExecutionErrors.castingCauseOverflowErrorInTableInsert en Cast
- [SPARK-40007] [PYTHON] [SQL] Adición de "mode" a las funciones
- [SPARK-40008] [SQL] Compatibilidad con la conversión de enteros a intervalos ANSI
- [SPARK-40003] [PYTHON] [SQL] Adición de "median" a las funciones
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand debe volver a almacenar en caché la relación de resultados
- [SPARK-39951] [SQL] Actualización de la comprobación de columnas Parquet V2 para campos anidados
- [SPARK-33236] [shuffle] Portabilidad con versión anterior de DBR 11.x: Habilitar el servicio Shuffle basado en inserciones para almacenar el estado en la BD de nivel NM para reinicio con conservación del trabajo
- [SPARK-39836] [SQL] Simplificación de V2ExpressionBuilder mediante el método común
- [SPARK-39873] [SQL] Quitar
OptimizeLimitZeroy combinarlo enEliminateLimits - [SPARK-39961] [SQL] DS V2 delega la traducción de Cast si la conversión es segura
- [SPARK-39872] [SQL] Cambio para usar
BytePackerForLong#unpack8Valuescon la API de entrada de matriz enVectorizedDeltaBinaryPackedReader - [SPARK-39858] [SQL] Eliminación de
AliasHelperoPredicateHelperinnecesarios para algunas reglas - [SPARK-39900] [SQL] Condición parcial o negada de dirección en el predicado de delegación de formato binario
- [SPARK-39904] [SQL] Cambio de nombre de inferDate a prefersDate y aclaración de la semántica de la opción en el origen de datos CSV
- [SPARK-39958] [SQL] Adición del registro de advertencias cuando no se puede cargar el objeto de métrica personalizado
- [SPARK-39932] [SQL] WindowExec debe borrar el búfer de partición final
- [SPARK-37194] [SQL] Evitar la ordenación innecesaria en la escritura v1 si no es una partición dinámica
- [SPARK-39902] [SQL] Adición de detalles del examen al nodo de examen del plan de Spark en SparkUI
- [SPARK-39865] [SQL] Mostrar mensajes de error adecuados en los errores de desbordamiento de la inserción de tabla
- [SPARK-39940] [SS] Actualización de la tabla de catálogo en la consulta de streaming con el receptor DSv1
- [SPARK-39827] [SQL] Uso de la clase de error
ARITHMETIC_OVERFLOWen desbordamiento de int enadd_months() - [SPARK-39914] [SQL] Adición de filtro de DS V2 a la conversión de filtro V1
- [SPARK-39857] [SQL] Portabilidad manual con la versión anterior de DBR 11.x: V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In 43454
- [SPARK-39840] [SQL] [PYTHON] Exclusión de PythonArrowInput como simetría para PythonArrowOutput
- [SPARK-39651] [SQL] Eliminación de la condición de filtro si la comparación con rand es determinista
- [SPARK-39877] [PYTHON] Adición de anulación de dinamización a la API de DataFrame de PySpark
- [SPARK-39909] [SQL] Organizar la comprobación de la información de inserción para JDBCV2Suite
- [SPARK-39834] [SQL] [SS] Incluir las estadísticas y restricciones de origen para LogicalRDD si procede de DataFrame
- [SPARK-39849] [SQL] Dataset.as(StructType) rellena las nuevas columnas que faltan con un valor NULL
- [SPARK-39860] [SQL] Más expresiones deberían extender Predicate
- [SPARK-39823] [SQL] [PYTHON] Cambio de nombre de Dataset.as como Dataset.to y adición de DataFrame.to en PySpark
- [SPARK-39918] [SQL] [MINOR] Reemplazo de la palabra "un-comparable" por "incomparable" en el mensaje de error
- [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In
- [SPARK-39862] [SQL] Portabilidad manual con versiones anteriores para PR 43654 con destino en DBR 11.x: Actualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir o denegar los comandos ALTER TABLE… ADD COLUMN por separado.
- [SPARK-39844] [SQL] Portabilidad manual con versiones anteriores para PR 43652 con destino en DBR 11.x
- [SPARK-39899] [SQL] Corrección del paso de parámetros de mensaje a
InvalidUDFClassException - [SPARK-39890] [SQL] Hacer que TakeOrderedAndProjectExec herede AliasAwareOutputOrdering
- [SPARK-39809] [PYTHON] Compatibilidad con CharType en PySpark
- [SPARK-38864] [SQL] Adición de unpivot/melt al conjunto de datos
- [SPARK-39864] [SQL] Registro diferido de ExecutionListenerBus
- [SPARK-39808] [SQL] Compatibilidad con la función de agregado MODE
- [SPARK-39875] [SQL] Cambio de método
protecteden la clase final aprivateopackage-visible - [SPARK-39731] [SQL] Corrección del problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
- [SPARK-39805] [SS] Desuso de Trigger.Once e inclusión de Trigger.AvailableNow
- [SPARK-39784] [SQL] Colocar los valores literales en el lado derecho del filtro del origen de datos después de traducir la expresión de Catalyst al filtro de origen de datos
- [SPARK-39672] [SQL] [3.1] Corrección de la eliminación del proyecto antes del filtro con subconsulta correlacionada
- [SPARK-39552] [SQL] Unify v1 y v2
DESCRIBE TABLE - [SPARK-39810] [SQL] Catalog.tableExists debe controlar el espacio de nombres anidado
- [SPARK-37287] [SQL] Extraer la partición dinámica y la ordenación de cubos de FileFormatWriter
- [SPARK-39469] [SQL] Inferencia del tipo de fecha para la inferencia de esquema CSV
- [SPARK-39148] [SQL] La inserción de agregado de DS V2 puede funcionar con OFFSET o LIMIT
- [SPARK-39818] [SQL] Corrección del error en los tipos ARRAY, STRUCT, MAP con valores DEFAULT con campos NULL
- [SPARK-39792] [SQL] Adición de DecimalDivideWithOverflowCheck para el promedio decimal
- [SPARK-39798] [SQL] Sustitución de
toSeq.toArraypor.toArray[Any]en el constructor deGenericArrayData - [SPARK-39759] [SQL] Implementación de listIndexes en JDBC (dialecto H2)
- [SPARK-39385] [SQL] Admite la inserción
REGR_AVGXyREGR_AVGY - [SPARK-39787] [SQL] Uso de la clase de error en el error de análisis de la función to_timestamp
- [SPARK-39760] [PYTHON] Compatibilidad con Varchar en PySpark
- [SPARK-39557] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Compatibilidad con los tipos ARRAY, STRUCT y MAP como valores predeterminados
- [SPARK-39758] [SQL] [3.3] Corrección de NPE desde las funciones regexp en patrones no válidos
- [SPARK-39749] [SQL] Modo SQL ANSI: usar la representación de cadena sin formato en la conversión decimal a cadena
- [SPARK-39704] [SQL] Implementación de createIndex dropIndex indexExists en JDBC (dialecto H2)
- [SPARK-39803][SQL] Uso de
LevenshteinDistanceen lugar deStringUtils.getLevenshteinDistance - [SPARK-39339] [SQL] Compatibilidad con el tipo TimestampNTZ en el origen del archivo de JDBC
- [SPARK-39781] [SS] Se ha agregado compatibilidad para proporcionar max_open_files al proveedor de almacenes de estado de rocksdb
- [SPARK-39719] [R] Implementación de databaseExists/getDatabase de SparkR admitan espacios de nombres de 3 capas
- [SPARK-39751] [SQL] Cambio de nombre de la métrica de sondeos de clave de agregado hash
- [SPARK-39772] [SQL] El espacio de nombres debe ser NULL cuando la base de datos es null en los constructores antiguos
- [SPARK-39625] [SPARK-38904] [SQL] Adición de Dataset.as(StructType)
- [SPARK-39384] [SQL] Compilación de funciones de agregado de regresión lineal integradas para el dialecto JDBC
- [SPARK-39720] [R] Implementación de tableExists/getTable de SparkR para espacios de nombres de 3 capas
- [SPARK-39744] [SQL] Adición de la función
REGEXP_INSTR - [SPARK-39716] [R] Hacer que currentDatabase/setCurrentDatabase/listCatalogs en SparkR admitan espacios de nombres de 3 capas
- [SPARK-39788] [SQL] Cambio de nombre de
catalogNameadialectNameparaJdbcUtils - [SPARK-39647] [CORE] Registro del ejecutor con ESS antes de registrar BlockManager
- [SPARK-39754] [CORE] [SQL] Eliminación de
importsin usar o{}innecesario - [SPARK-39706] [SQL] Definición de la columna que falta con defaultValue como constante en
ParquetColumnVector - [SPARK-39699] [SQL] Hacer que CollapseProject sea más inteligente para las expresiones de creación de colecciones
- [SPARK-39737] [SQL]
PERCENTILE_CONTyPERCENTILE_DISCdebe admitir el filtro de agregado - [SPARK-39579] [SQL][PYTHON][R] Hacer que ListFunctions/getFunction/functionExists sea compatible con el espacio de nombres de 3 capas
- [SPARK-39627] [SQL] La delegación JDBC V2 debe unificar la API de compilación
- [SPARK-39748] [SQL] [SS] Incluir el plan lógico de origen para LogicalRDD si procede de DataFrame
- [SPARK-39385] [SQL] Traducción de funciones de agregado de regresión lineal para la delegación
- [SPARK-39695] [SQL] Adición de la función
REGEXP_SUBSTR - [SPARK-39667] [SQL] Adición de otra solución alternativa cuando no haya suficiente memoria para compilar y difundir la tabla
- [SPARK-39666] [ES-337834] [SQL] Uso de UnsafeProjection.create para respetar
spark.sql.codegen.factoryModeen ExpressionEncoder - [SPARK-39643] [SQL] Prohibir expresiones de subconsulta en valores predeterminados
- [SPARK-38647] [SQL] Adición de la combinación SupportsReportOrdering en la interfaz para Scan (DataSourceV2)
- [SPARK-39497][SQL] Mejora de la excepción de análisis de la columna de clave de asignación que falta
- [SPARK-39661] [SQL] Evitar crear el registrador de SLF4J innecesario
- [SPARK-39713] [SQL] Modo ANSI: agregar sugerencia de uso de try_element_at para el error INVALID_ARRAY_INDEX
- [SPARK-38899] [SQL] DS V2 admite la delegación de las funciones de fecha y hora
- [SPARK-39638] [SQL] Cambio para usar
ConstantColumnVectorpara almacenar columnas de partición enOrcColumnarBatchReader - [SPARK-39653] [SQL] Limpieza de
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)deColumnVectorUtils - [SPARK-39231] [SQL] Uso de
ConstantColumnVectoren lugar deOn/OffHeapColumnVectorpara almacenar columnas de partición enVectorizedParquetRecordReader - [SPARK-39547] [SQL] V2SessionCatalog no debe iniciar NoSuchDatabaseException en loadNamspaceMetadata
- [SPARK-39447] [SQL] Evitar assertionError en AdaptiveSparkPlanExec.doExecuteBroadcast
- [SPARK-39492] [SQL] Reprocesar MISSING_COLUMN
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec debe respetar el orden de salida secundario
- [SPARK-39606] [SQL] Uso de estadísticas secundarias para calcular el operador de orden
- [SPARK-39611] [PYTHON] [PS] Corrección de alias incorrectos en array_ufunc
- [SPARK-39656] [SQL] [3.3] Corrección de un espacio de nombres incorrecto en DescribeNamespaceExec
- [SPARK-39675] [SQL] Cambio de configuración "spark.sql.codegen.factoryMode" de propósito de prueba a propósito interno
- [SPARK-39139] [SQL] DS V2 admite la delegación de DS V2 UDF
- [SPARK-39434][SQL] Proporcionar contexto de consulta de error en tiempo de ejecución cuando el índice de matriz está fuera del límite
- [SPARK-39479] [SQL] DS V2 admite la delegación de funciones matemáticas (no ANSI)
- [SPARK-39618] [SQL] Adición de la función
REGEXP_COUNT - [SPARK-39553] [CORE] El orden aleatorio de varios subprocesos no debe iniciar NPE al usar Scala 2.13
- [SPARK-38755] [PYTHON] [3.3] Adición de un archivo para abordar las funciones generales de Pandas que faltan
- [SPARK-39444] [SQL] Adición de OptimizeSubqueries a la lista nonExcludableRules
- [SPARK-39316] [SQL] Combinación de PromotePrecision y CheckOverflow en aritmética binaria decimal
- [SPARK-39505] [UI] Contenido de registro de escape representado en la interfaz de usuario
- [SPARK-39448] [SQL] Adición de
ReplaceCTERefWithRepartitiona la listanonExcludableRules - [SPARK-37961] [SQL] Invalidación de maxRows/maxRowsPerPartition para algunos operadores lógicos
- [SPARK-35223] Reversión de adición de IssueNavigationLink
- [SPARK-39633] [SQL] Compatibilidad con marca de tiempo en segundos para TimeTravel mediante opciones de trama de datos
- [SPARK-38796] [SQL] Documentación de actualización de cadenas de formato numérico con las funciones {try_}to_number
- [SPARK-39650] [SS] Corrección del esquema de valores incorrecto en la desduplicación de streaming con compatibilidad con versiones anteriores
- [SPARK-39636] [CORE] [UI] Corrección de varios errores en JsonProtocol, lo que afecta al montón StorageLevels y Task/Executor ResourceRequests
- [SPARK-39432] [SQL] Devuelve ELEMENT_AT_BY_INDEX_ZERO desde element_at(*, 0)
- [SPARK-39349] Adición de un método CheckError centralizado para QA de ruta de acceso de error
- [SPARK-39453] [SQL] DS V2 admite la delegación de funciones no de agregado misc (no ANSI)
- [SPARK-38978] [SQL] DS V2 admite la delegación del operador OFFSET
- [SPARK-39567] [SQL] Compatibilidad con intervalos ANSI en las funciones de percentil
- [SPARK-39383] [SQL] Compatibilidad con columnas DEFAULT en ALTER TABLE ALTER COLUMNS en orígenes de datos V2
- [SPARK-39396] [SQL] Corrección de la excepción de inicio de sesión LDAP: código de error 49- credenciales no válidas
- [SPARK-39548] [SQL] Comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada
- [SPARK-39575][AVRO] agregar ByteBuffer#rewind después de ByteBuffer#get en Avr…
- [SPARK-39543] La opción de DataFrameWriterV2 debe pasarse a las propiedades de almacenamiento si se revierte a v1
- [SPARK-39564] [SS] Exposición de la información de la tabla de catálogo al plan lógico en la consulta de streaming.
- [SPARK-39582] [SQL] Corrección del marcador "Since" para
array_agg - [SPARK-39388] [SQL] Reutilización de
orcSchemaal delegar predicados Orc - [SPARK-39511] [SQL] Mejora del límite 1 local para el lado derecho de la semi/anti combinación izquierda si la condición de combinación está vacía
- [SPARK-38614] [SQL] No delegar el límite a través de la ventana que usa percent_rank
- [SPARK-39551] [SQL] Adición de la comprobación de planes no válidos de AQE
- [SPARK-39383] [SQL] Compatibilidad con columnas DEFAULT en ALTER TABLE ADD COLUMNS en orígenes de datos V2
- [SPARK-39538] [SQL] Evitar crear el registrador de SLF4J innecesario
- [SPARK-39383] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Refactorización con la compatibilidad con la columna DEFAULT para omitir el paso del analizador principal
- [SPARK-39397] [SQL] Relajación de AliasAwareOutputExpression para admitir alias con expresión
- [SPARK-39496] [SQL] Controlar la estructura null en
Inline.eval - [SPARK-39545] [SQL] Invalidación del método
concatparaExpressionSeten Scala 2.13 para mejorar el rendimiento - [SPARK-39340] [SQL] La delegación de agregado de DS v2 debe permitir puntos en el nombre de las columnas de nivel superior
- [SPARK-39488] [SQL] Simplificación del control de errores de TempResolvedColumn
- [SPARK-38846] [SQL] Adición de la asignación de datos explícita entre el tipo numérico de Teradata y DecimalType de Spark
- [SPARK-39520] [SQL] Invalidación del método
--paraExpressionSeten Scala 2.13 - [SPARK-39470] [SQL] Compatibilidad con la conversión de intervalos ANSI a decimales
- [SPARK-39477] [SQL] Quitar la información "Número de consultas" de los archivos dorados de SQLQueryTestSuite
- [SPARK-39419] [SQL] Se ha corregido el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo
- [SPARK-39061] [SQL] Establecimiento correcto de valores NULL para atributos de salida
Inline - [SPARK-39320] [SQL] Compatibilidad con la función de agregado
MEDIAN - [SPARK-39261] [CORE] Mejora del formato de nueva línea para los mensajes de error
- [SPARK-39355] [SQL] Una sola columna usa comillas para construir UnresolvedAttribute
- [SPARK-39351] [SQL] SHOW CREATE TABLE debe censurar las propiedades
- [SPARK-37623] [SQL] Compatibilidad con la función de agregado ANSI: regr_intercept
- [SPARK-39374] [SQL] Mejora del mensaje de error para la lista de columnas especificada por el usuario
- [SPARK-39255] [SQL] [3.3] Mejorar los mensajes de error
- [SPARK-39321] [SQL] Refactorización de TryCast para usar RuntimeReplaceable
- [SPARK-39406] [PYTHON] Aceptar matriz NumPy en createDataFrame
- [SPARK-39267] [SQL] Limpieza de símbolos innecesarios de dsl
- [SPARK-39171] [SQL] Unificar la expresión Cast
- [SPARK-28330] [SQL] Compatibilidad con ANSI SQL: cláusula de desplazamiento de resultados en la expresión de consulta
- [SPARK-39203] [SQL] Reescribir la ubicación de la tabla en un URI absoluto basado en el URI de la base de datos
- [SPARK-39313] [SQL]
toCatalystOrderingdebe producir un error si no se puede traducir V2Expression - [SPARK-39301] [SQL] [PYTHON] Aprovechar LocalRelation y respetar el tamaño del lote de Arrow en createDataFrame con optimización de Arrow
- [SPARK-39400] [SQL] spark-sql debe quitar el dir de recursos de Hive en todos los casos
Actualizaciones de mantenimiento
Consulte las actualizaciones de mantenimiento de Databricks Runtime 11.2.
Entorno del sistema
- Sistema operativo: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 2.1.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1.10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| black | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.0.3 |
| criptografía | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| notebook | 6.4.5 | numpy | 1.20.3 | empaquetado | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2,20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | Python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | Solicitudes | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six (seis) | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 15-08-2022.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| clase | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | conjuntos de datos | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| generics | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | elementos gráficos | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | ciclo de vida | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | Matriz | 1.4-1 |
| memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
| mime | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progreso | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0,13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0,4 | withr | 2.5.0 | xfun | 0,32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,34 |
| org.glassfish.jersey.core | jersey-client | 2,34 |
| org.glassfish.jersey.core | jersey-common | 2,34 |
| org.glassfish.jersey.core | jersey-server | 2,34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |