Databricks Runtime 11.2 (sin soporte técnico)

  • Artículo

En las siguientes notas de la versión, se proporciona información sobre el componente Databricks Runtime 11.2, con tecnología de Apache Spark 3.3.0. Databricks publicó estas imágenes en septiembre de 2022.

Nuevas características y mejoras

Se han cambiado los permisos de ALTER TABLE en los controles de acceso a tablas (ACL de tabla)

Ahora, los usuarios solo necesitan permisos MODIFY para cambiar el esquema o las propiedades de una tabla con ALTER TABLE. La propiedad sigue siendo necesaria para conceder permisos en una tabla, cambiar su propietario y ubicación o asignarle un nuevo nombre. Este cambio hace que el modelo de permisos de las ACL de tabla sea más coherente con Unity Catalog. Consulte ALTER TABLE.

Eliminación dinámica para MERGE INTO

Al usar el proceso habilitado para Photon, MERGE INTO ahora usa la eliminación dinámica de archivos y particiones cuando sea adecuada para mejorar el rendimiento, por ejemplo, cuando se combina una tabla de origen pequeña en una tabla de destino más grande.

Detección de conflictos mejorada en Delta con eliminación de archivos dinámicos

Ahora, cuando se usa el proceso de detección de conflictos para comprobar los conflictos posibles que pueden darse al hacer "commit", se tendrán en cuenta los archivos que pueden eliminarse mediante eliminación dinámica, pero que no se eliminarían mediante filtros estáticos. Gracias a esto, se reduce el número de transacciones erróneas.

Nueva tarjeta de integraciones de código abierto en las páginas principales de DSE/SQL

Introducción a la nueva tarjeta "Integraciones de código abierto" en las páginas principales de DSE/SQL que muestra opciones de integración de código abierto, como Delta Live Tables y dbt core.

Mejoras en la detección de particiones de CONVERT TO DELTA

CONVERT TO DELTA deduce automáticamente el esquema de partición de las tablas Parquet que están registradas en el metastore de Hive o el catálogo de Unity, lo que elimina la necesidad de proporcionar la cláusula PARTITIONED BY.

CONVERT TO DELTA saca provecho de la información de partición del metastore para detectar archivos de una tabla Parquet en lugar de enumerar toda la ruta de acceso base, lo que garantiza que las particiones anuladas no se agreguen a la tabla Delta.

Consulte Conversión a Delta Lake.

Ahora, en los esquemas de tabla, se admite el uso de valores predeterminados para las columnas

Ahora, en los esquemas de tabla, se admite el establecimiento de valores predeterminados para las columnas. En estas columnas, los comandos INSERT, UPDATE y DELETE pueden usarse para hacer referencia a estos valores con la palabra clave DEFAULT. Por ejemplo, la ejecución del elemento CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET junto con el elemento INSERT INTO t VALUES (1, DEFAULT) hará que se anexe la fila (1, 42). El uso de este comportamiento se admite con los orígenes de datos CSV, JSON, Orc y Parquet.

Nuevas funciones geoespaciales H3

Ahora, se pueden usar 28 nuevas expresiones H3 integradas para el procesamiento geoespacial en clústeres que estén habilitados para su uso con Photon. Estas están disponibles en SQL, Scala y Python. Consulte funciones geoespaciales H3

Nueva dependencia de Databricks Runtime

Databricks Runtime ahora depende de la versión 3.7.0 de la biblioteca de Java H3.

Traiga su propia clave: cifrado de credenciales de Git

Puede usar Azure Key Vault para cifrar un token de acceso personal (PAT) de Git u otra credencial de Git.

Consulte Configuración de carpetas de Git (Repos) de Databricks.

SQL: nueva función de agregado any_value

Al ejecutarse la nueva función de agregado any_value, se obtiene un valor aleatorio del elemento expr de un grupo de filas. Consulte la función de agregado any_value.

El uso de los comandos del sistema de archivos de utilidades de Databricks se admite en más tipos de clúster

Ahora, el uso de los comandos dbutils.fs (excepto los comandos que están relacionados con el montaje) se permite en los clústeres de aislamiento de usuario con Unity Catalog, así como en los clústeres ACL de tablas heredadas si el usuario tiene permisos ANY FILE.

Ahora se pueden conceder privilegios CREATE en metastores para el catálogo de Unity

Ahora se pueden conceder privilegios CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT y CREATE PROVIDER en metastores del catálogo de Unity.

Escrituras optimizadas para tablas sin particiones en clústeres habilitados para Photon

Ahora las tablas administradas del catálogo de Unity conservan automáticamente los archivos de un tamaño bien ajustado de las tablas sin particiones a fin de mejorar la velocidad de las consultas y optimizar el rendimiento.

Se ha agregado compatibilidad con Photon para más orígenes de datos

Photon ahora admite más orígenes de datos, incluidos CSV y Avro, y también es compatible con marcos de datos en caché. Anteriormente, el examen de estos orígenes de datos significaba que toda la consulta no se podía fotonizar, independientemente de los operadores o expresiones de la consulta. Ahora, las consultas que examinan estos orígenes de datos se pueden fotonizar lo cual permite desbloquear mejoras significativas de latencia y TCO.

Esta característica se habilita de forma predeterminada mediante la configuración de spark.databricks.photon.photonRowToColumnar.enabled.

Limitaciones:

  • En esta versión no se admiten esquemas con tipos anidados (es decir, matrices, mapas y estructuras).
  • Los orígenes de ORC, RDD, Kinesis, Kafka y EventHub no se admiten en esta versión.

SQL: ahora, en ALTER SHARE, se admite el uso de START VERSION

Ahora, en el comando ALTER SHARE se admite el uso del elemento START VERSION, que se usa para permitir que los proveedores compartan los datos que comiencen en una versión específica de tabla. Consulte ALTER SHARE.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • distlib: de 0.3.4 a 0.3.5
    • filelock: de 3.7.1 a 3.8.0
    • plotly: de 5.8.2 a 5.9.0
    • protobuf: de 4.21.2 a 4.21.5
  • Bibliotecas de R actualizadas:
    • broom: de 0.8.0 a 1.0.0
    • bslib: de 0.3.1 a 0.4.0
    • callr: de 3.7.0 a 3.7.1
    • caret: de 6.0-92 a 6.0-93
    • dbplyr: de 2.2.0 a 2.2.1
    • devtools: de 2.4.3 a 2.4.4
    • evaluate: de 0.15 a 0.16
    • farver: de 2.1.0 a 2.1.1
    • fontawesome: de 0.2.2 a 0.3.0
    • future: de 1.26.1 a 1.27.0
    • generics: de 0.1.2 a 0.1.3
    • gert: de 1.6.0 a 1.7.0
    • globals: de 0.15.1 a 0.16.0
    • googlesheets4: de 1.0.0 a 1.0.1
    • hardhat: de 1.1.0 a 1.2.0
    • htmltools: de 0.5.2 a 0.5.3
    • parallelly: de 1.32.0 a 1.32.1
    • pillar: de 1.7.0 a 1.8.0
    • pkgload: de 1.2.4 a 1.3.0
    • processx: de 3.6.1 a 3.7.0
    • Rcpp: de 1.0.8.3 a 1.0.9
    • recipes: de 0.2.0 a 1.0.1
    • rlang: de 1.0.2 a 1.0.4
    • roxygen2: de 7.2.0 a 7.2.1
    • RSQLite: de 2.2.14 a 2.2.15
    • sass: de 0.4.1 a 0.4.2
    • shiny: de 1.7.1 a 1.7.2
    • stringi: de 1.7.6 a 1.7.8
    • tibble: de 3.1.7 a 3.1.8
    • tidyverse: de 1.3.1 a 1.3.2
    • timeDate: de 3043.102 a 4021.104
    • xfun: de 0.31 a 0.32
  • Bibliotecas de Java actualizadas:
    • org.apache.orc.orc-core: de 1.7.4 a 1.7.5
    • org.apache.orc.orc-mapreduce: de 1.7.4 a 1.7.5
    • org.apache.orc.orc-shims: de 1.7.4 a 1.7.5

Apache Spark

Databricks Runtime 11.2 incluye Apache Spark 3.3.0. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 11.1 (sin soporte ), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:

  • [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Devuelve tipos de intervalos ANSI más amplios a partir de las funciones de percentil
  • [SPARK-40054] [SQL] Restauración de la sintaxis de control de errores de try_cast()
  • [SPARK-39489] [CORE] Mejora del rendimiento de JsonProtocol del registro de eventos mediante Jackson en lugar de Json4s
  • [SPARK-39319] [CORE][SQL] Creación de contextos de consulta como parte de SparkThrowable
  • [SPARK-40085] [SQL] Uso de la clase de error INTERNAL_ERROR en lugar de IllegalStateException para indicar errores
  • [SPARK-40001] [SQL] Hacer que las escrituras NULL en columnas DEFAULT de JSON escriban "null" en el almacenamiento
  • [SPARK-39635] [SQL] Compatibilidad con métricas de controladores en la API de métricas personalizadas de DS v2
  • [SPARK-39184] [SQL] Control de la matriz de resultados infradimensionada en secuencias de fecha y marca de tiempo
  • [SPARK-40019] [SQL] Refactorización del comentario de containsNull de ArrayType y refactorización de las lógicas de malentendido en la expresión de collectionOperator sobre containsNull
  • [SPARK-39989] [SQL] Compatibilidad con estadísticas de columna de estimación si es una expresión plegable
  • [SPARK-39926] [SQL] Corrección de errores en la compatibilidad con la columna DEFAULT para exámenes de Parquet no vectorizados
  • [SPARK-40052] [SQL] Control de búferes de bytes directos en VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Corrección del tipo de intervalo de destino en errores de desbordamiento de conversión
  • [SPARK-39835] [SQL] Corrección de EliminateSorts de eliminación de la ordenación global debajo de la ordenación local
  • [SPARK-40002] [SQL] No insertar el límite a través de la ventana mediante ntiles
  • [SPARK-39976] [SQL] ArrayIntersect debe controlar null en la primera expresión correctamente
  • [SPARK-39985] [SQL] Habilitación de valores de columna DEFAULT implícitos en inserciones de DataFrames
  • [SPARK-39776] [SQL] La cadena detallada JOIN debe agregar el tipo Join
  • [SPARK-38901] [SQL] DS V2 admite la delegación de las funciones misc
  • [SPARK-40028] [SQL] [Seguimiento] Mejora de ejemplos de funciones de cadena
  • [SPARK-39983] [CORE] [SQL] No almacenar en caché las relaciones de difusión no serializadas en el controlador
  • [SPARK-39812] [SQL] Simplificación del código que construye AggregateExpression con toAggregateExpression
  • [SPARK-40028] [SQL] Adición de ejemplos binarios para expresiones de cadena
  • [SPARK-39981] [SQL] Se produce la excepción QueryExecutionErrors.castingCauseOverflowErrorInTableInsert en Cast
  • [SPARK-40007] [PYTHON] [SQL] Adición de "mode" a las funciones
  • [SPARK-40008] [SQL] Compatibilidad con la conversión de enteros a intervalos ANSI
  • [SPARK-40003] [PYTHON] [SQL] Adición de "median" a las funciones
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand debe volver a almacenar en caché la relación de resultados
  • [SPARK-39951] [SQL] Actualización de la comprobación de columnas Parquet V2 para campos anidados
  • [SPARK-33236] [shuffle] Portabilidad con versión anterior de DBR 11.x: Habilitar el servicio Shuffle basado en inserciones para almacenar el estado en la BD de nivel NM para reinicio con conservación del trabajo
  • [SPARK-39836] [SQL] Simplificación de V2ExpressionBuilder mediante el método común
  • [SPARK-39873] [SQL] Quitar OptimizeLimitZero y combinarlo en EliminateLimits
  • [SPARK-39961] [SQL] DS V2 delega la traducción de Cast si la conversión es segura
  • [SPARK-39872] [SQL] Cambio para usar BytePackerForLong#unpack8Values con la API de entrada de matriz en VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Eliminación de AliasHelper o PredicateHelper innecesarios para algunas reglas
  • [SPARK-39900] [SQL] Condición parcial o negada de dirección en el predicado de delegación de formato binario
  • [SPARK-39904] [SQL] Cambio de nombre de inferDate a prefersDate y aclaración de la semántica de la opción en el origen de datos CSV
  • [SPARK-39958] [SQL] Adición del registro de advertencias cuando no se puede cargar el objeto de métrica personalizado
  • [SPARK-39932] [SQL] WindowExec debe borrar el búfer de partición final
  • [SPARK-37194] [SQL] Evitar la ordenación innecesaria en la escritura v1 si no es una partición dinámica
  • [SPARK-39902] [SQL] Adición de detalles del examen al nodo de examen del plan de Spark en SparkUI
  • [SPARK-39865] [SQL] Mostrar mensajes de error adecuados en los errores de desbordamiento de la inserción de tabla
  • [SPARK-39940] [SS] Actualización de la tabla de catálogo en la consulta de streaming con el receptor DSv1
  • [SPARK-39827] [SQL] Uso de la clase de error ARITHMETIC_OVERFLOW en desbordamiento de int en add_months()
  • [SPARK-39914] [SQL] Adición de filtro de DS V2 a la conversión de filtro V1
  • [SPARK-39857] [SQL] Portabilidad manual con la versión anterior de DBR 11.x: V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In 43454
  • [SPARK-39840] [SQL] [PYTHON] Exclusión de PythonArrowInput como simetría para PythonArrowOutput
  • [SPARK-39651] [SQL] Eliminación de la condición de filtro si la comparación con rand es determinista
  • [SPARK-39877] [PYTHON] Adición de anulación de dinamización a la API de DataFrame de PySpark
  • [SPARK-39909] [SQL] Organizar la comprobación de la información de inserción para JDBCV2Suite
  • [SPARK-39834] [SQL] [SS] Incluir las estadísticas y restricciones de origen para LogicalRDD si procede de DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) rellena las nuevas columnas que faltan con un valor NULL
  • [SPARK-39860] [SQL] Más expresiones deberían extender Predicate
  • [SPARK-39823] [SQL] [PYTHON] Cambio de nombre de Dataset.as como Dataset.to y adición de DataFrame.to en PySpark
  • [SPARK-39918] [SQL] [MINOR] Reemplazo de la palabra "un-comparable" por "incomparable" en el mensaje de error
  • [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In
  • [SPARK-39862] [SQL] Portabilidad manual con versiones anteriores para PR 43654 con destino en DBR 11.x: Actualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir o denegar los comandos ALTER TABLE… ADD COLUMN por separado.
  • [SPARK-39844] [SQL] Portabilidad manual con versiones anteriores para PR 43652 con destino en DBR 11.x
  • [SPARK-39899] [SQL] Corrección del paso de parámetros de mensaje a InvalidUDFClassException
  • [SPARK-39890] [SQL] Hacer que TakeOrderedAndProjectExec herede AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Compatibilidad con CharType en PySpark
  • [SPARK-38864] [SQL] Adición de unpivot/melt al conjunto de datos
  • [SPARK-39864] [SQL] Registro diferido de ExecutionListenerBus
  • [SPARK-39808] [SQL] Compatibilidad con la función de agregado MODE
  • [SPARK-39875] [SQL] Cambio de método protected en la clase final a private o package-visible
  • [SPARK-39731] [SQL] Corrección del problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
  • [SPARK-39805] [SS] Desuso de Trigger.Once e inclusión de Trigger.AvailableNow
  • [SPARK-39784] [SQL] Colocar los valores literales en el lado derecho del filtro del origen de datos después de traducir la expresión de Catalyst al filtro de origen de datos
  • [SPARK-39672] [SQL] [3.1] Corrección de la eliminación del proyecto antes del filtro con subconsulta correlacionada
  • [SPARK-39552] [SQL] Unify v1 y v2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists debe controlar el espacio de nombres anidado
  • [SPARK-37287] [SQL] Extraer la partición dinámica y la ordenación de cubos de FileFormatWriter
  • [SPARK-39469] [SQL] Inferencia del tipo de fecha para la inferencia de esquema CSV
  • [SPARK-39148] [SQL] La inserción de agregado de DS V2 puede funcionar con OFFSET o LIMIT
  • [SPARK-39818] [SQL] Corrección del error en los tipos ARRAY, STRUCT, MAP con valores DEFAULT con campos NULL
  • [SPARK-39792] [SQL] Adición de DecimalDivideWithOverflowCheck para el promedio decimal
  • [SPARK-39798] [SQL] Sustitución de toSeq.toArray por .toArray[Any] en el constructor de GenericArrayData
  • [SPARK-39759] [SQL] Implementación de listIndexes en JDBC (dialecto H2)
  • [SPARK-39385] [SQL] Admite la inserción REGR_AVGX y REGR_AVGY
  • [SPARK-39787] [SQL] Uso de la clase de error en el error de análisis de la función to_timestamp
  • [SPARK-39760] [PYTHON] Compatibilidad con Varchar en PySpark
  • [SPARK-39557] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Compatibilidad con los tipos ARRAY, STRUCT y MAP como valores predeterminados
  • [SPARK-39758] [SQL] [3.3] Corrección de NPE desde las funciones regexp en patrones no válidos
  • [SPARK-39749] [SQL] Modo SQL ANSI: usar la representación de cadena sin formato en la conversión decimal a cadena
  • [SPARK-39704] [SQL] Implementación de createIndex dropIndex indexExists en JDBC (dialecto H2)
  • [SPARK-39803][SQL] Uso de LevenshteinDistance en lugar de StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Compatibilidad con el tipo TimestampNTZ en el origen del archivo de JDBC
  • [SPARK-39781] [SS] Se ha agregado compatibilidad para proporcionar max_open_files al proveedor de almacenes de estado de rocksdb
  • [SPARK-39719] [R] Implementación de databaseExists/getDatabase de SparkR admitan espacios de nombres de 3 capas
  • [SPARK-39751] [SQL] Cambio de nombre de la métrica de sondeos de clave de agregado hash
  • [SPARK-39772] [SQL] El espacio de nombres debe ser NULL cuando la base de datos es null en los constructores antiguos
  • [SPARK-39625] [SPARK-38904] [SQL] Adición de Dataset.as(StructType)
  • [SPARK-39384] [SQL] Compilación de funciones de agregado de regresión lineal integradas para el dialecto JDBC
  • [SPARK-39720] [R] Implementación de tableExists/getTable de SparkR para espacios de nombres de 3 capas
  • [SPARK-39744] [SQL] Adición de la función REGEXP_INSTR
  • [SPARK-39716] [R] Hacer que currentDatabase/setCurrentDatabase/listCatalogs en SparkR admitan espacios de nombres de 3 capas
  • [SPARK-39788] [SQL] Cambio de nombre de catalogName a dialectName para JdbcUtils
  • [SPARK-39647] [CORE] Registro del ejecutor con ESS antes de registrar BlockManager
  • [SPARK-39754] [CORE] [SQL] Eliminación de import sin usar o {} innecesario
  • [SPARK-39706] [SQL] Definición de la columna que falta con defaultValue como constante en ParquetColumnVector
  • [SPARK-39699] [SQL] Hacer que CollapseProject sea más inteligente para las expresiones de creación de colecciones
  • [SPARK-39737] [SQL] PERCENTILE_CONT y PERCENTILE_DISC debe admitir el filtro de agregado
  • [SPARK-39579] [SQL][PYTHON][R] Hacer que ListFunctions/getFunction/functionExists sea compatible con el espacio de nombres de 3 capas
  • [SPARK-39627] [SQL] La delegación JDBC V2 debe unificar la API de compilación
  • [SPARK-39748] [SQL] [SS] Incluir el plan lógico de origen para LogicalRDD si procede de DataFrame
  • [SPARK-39385] [SQL] Traducción de funciones de agregado de regresión lineal para la delegación
  • [SPARK-39695] [SQL] Adición de la función REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Adición de otra solución alternativa cuando no haya suficiente memoria para compilar y difundir la tabla
  • [SPARK-39666] [ES-337834] [SQL] Uso de UnsafeProjection.create para respetar spark.sql.codegen.factoryMode en ExpressionEncoder
  • [SPARK-39643] [SQL] Prohibir expresiones de subconsulta en valores predeterminados
  • [SPARK-38647] [SQL] Adición de la combinación SupportsReportOrdering en la interfaz para Scan (DataSourceV2)
  • [SPARK-39497][SQL] Mejora de la excepción de análisis de la columna de clave de asignación que falta
  • [SPARK-39661] [SQL] Evitar crear el registrador de SLF4J innecesario
  • [SPARK-39713] [SQL] Modo ANSI: agregar sugerencia de uso de try_element_at para el error INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] DS V2 admite la delegación de las funciones de fecha y hora
  • [SPARK-39638] [SQL] Cambio para usar ConstantColumnVector para almacenar columnas de partición en OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Limpieza de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
  • [SPARK-39231] [SQL] Uso de ConstantColumnVector en lugar de On/OffHeapColumnVector para almacenar columnas de partición en VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog no debe iniciar NoSuchDatabaseException en loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evitar assertionError en AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Reprocesar MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec debe respetar el orden de salida secundario
  • [SPARK-39606] [SQL] Uso de estadísticas secundarias para calcular el operador de orden
  • [SPARK-39611] [PYTHON] [PS] Corrección de alias incorrectos en array_ufunc
  • [SPARK-39656] [SQL] [3.3] Corrección de un espacio de nombres incorrecto en DescribeNamespaceExec
  • [SPARK-39675] [SQL] Cambio de configuración "spark.sql.codegen.factoryMode" de propósito de prueba a propósito interno
  • [SPARK-39139] [SQL] DS V2 admite la delegación de DS V2 UDF
  • [SPARK-39434][SQL] Proporcionar contexto de consulta de error en tiempo de ejecución cuando el índice de matriz está fuera del límite
  • [SPARK-39479] [SQL] DS V2 admite la delegación de funciones matemáticas (no ANSI)
  • [SPARK-39618] [SQL] Adición de la función REGEXP_COUNT
  • [SPARK-39553] [CORE] El orden aleatorio de varios subprocesos no debe iniciar NPE al usar Scala 2.13
  • [SPARK-38755] [PYTHON] [3.3] Adición de un archivo para abordar las funciones generales de Pandas que faltan
  • [SPARK-39444] [SQL] Adición de OptimizeSubqueries a la lista nonExcludableRules
  • [SPARK-39316] [SQL] Combinación de PromotePrecision y CheckOverflow en aritmética binaria decimal
  • [SPARK-39505] [UI] Contenido de registro de escape representado en la interfaz de usuario
  • [SPARK-39448] [SQL] Adición de ReplaceCTERefWithRepartition a la lista nonExcludableRules
  • [SPARK-37961] [SQL] Invalidación de maxRows/maxRowsPerPartition para algunos operadores lógicos
  • [SPARK-35223] Reversión de adición de IssueNavigationLink
  • [SPARK-39633] [SQL] Compatibilidad con marca de tiempo en segundos para TimeTravel mediante opciones de trama de datos
  • [SPARK-38796] [SQL] Documentación de actualización de cadenas de formato numérico con las funciones {try_}to_number
  • [SPARK-39650] [SS] Corrección del esquema de valores incorrecto en la desduplicación de streaming con compatibilidad con versiones anteriores
  • [SPARK-39636] [CORE] [UI] Corrección de varios errores en JsonProtocol, lo que afecta al montón StorageLevels y Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Devuelve ELEMENT_AT_BY_INDEX_ZERO desde element_at(*, 0)
  • [SPARK-39349] Adición de un método CheckError centralizado para QA de ruta de acceso de error
  • [SPARK-39453] [SQL] DS V2 admite la delegación de funciones no de agregado misc (no ANSI)
  • [SPARK-38978] [SQL] DS V2 admite la delegación del operador OFFSET
  • [SPARK-39567] [SQL] Compatibilidad con intervalos ANSI en las funciones de percentil
  • [SPARK-39383] [SQL] Compatibilidad con columnas DEFAULT en ALTER TABLE ALTER COLUMNS en orígenes de datos V2
  • [SPARK-39396] [SQL] Corrección de la excepción de inicio de sesión LDAP: código de error 49- credenciales no válidas
  • [SPARK-39548] [SQL] Comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada
  • [SPARK-39575][AVRO] agregar ByteBuffer#rewind después de ByteBuffer#get en Avr…
  • [SPARK-39543] La opción de DataFrameWriterV2 debe pasarse a las propiedades de almacenamiento si se revierte a v1
  • [SPARK-39564] [SS] Exposición de la información de la tabla de catálogo al plan lógico en la consulta de streaming.
  • [SPARK-39582] [SQL] Corrección del marcador "Since" para array_agg
  • [SPARK-39388] [SQL] Reutilización de orcSchema al delegar predicados Orc
  • [SPARK-39511] [SQL] Mejora del límite 1 local para el lado derecho de la semi/anti combinación izquierda si la condición de combinación está vacía
  • [SPARK-38614] [SQL] No delegar el límite a través de la ventana que usa percent_rank
  • [SPARK-39551] [SQL] Adición de la comprobación de planes no válidos de AQE
  • [SPARK-39383] [SQL] Compatibilidad con columnas DEFAULT en ALTER TABLE ADD COLUMNS en orígenes de datos V2
  • [SPARK-39538] [SQL] Evitar crear el registrador de SLF4J innecesario
  • [SPARK-39383] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Refactorización con la compatibilidad con la columna DEFAULT para omitir el paso del analizador principal
  • [SPARK-39397] [SQL] Relajación de AliasAwareOutputExpression para admitir alias con expresión
  • [SPARK-39496] [SQL] Controlar la estructura null en Inline.eval
  • [SPARK-39545] [SQL] Invalidación del método concat para ExpressionSet en Scala 2.13 para mejorar el rendimiento
  • [SPARK-39340] [SQL] La delegación de agregado de DS v2 debe permitir puntos en el nombre de las columnas de nivel superior
  • [SPARK-39488] [SQL] Simplificación del control de errores de TempResolvedColumn
  • [SPARK-38846] [SQL] Adición de la asignación de datos explícita entre el tipo numérico de Teradata y DecimalType de Spark
  • [SPARK-39520] [SQL] Invalidación del método -- para ExpressionSet en Scala 2.13
  • [SPARK-39470] [SQL] Compatibilidad con la conversión de intervalos ANSI a decimales
  • [SPARK-39477] [SQL] Quitar la información "Número de consultas" de los archivos dorados de SQLQueryTestSuite
  • [SPARK-39419] [SQL] Se ha corregido el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo
  • [SPARK-39061] [SQL] Establecimiento correcto de valores NULL para atributos de salida Inline
  • [SPARK-39320] [SQL] Compatibilidad con la función de agregado MEDIAN
  • [SPARK-39261] [CORE] Mejora del formato de nueva línea para los mensajes de error
  • [SPARK-39355] [SQL] Una sola columna usa comillas para construir UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE debe censurar las propiedades
  • [SPARK-37623] [SQL] Compatibilidad con la función de agregado ANSI: regr_intercept
  • [SPARK-39374] [SQL] Mejora del mensaje de error para la lista de columnas especificada por el usuario
  • [SPARK-39255] [SQL] [3.3] Mejorar los mensajes de error
  • [SPARK-39321] [SQL] Refactorización de TryCast para usar RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Aceptar matriz NumPy en createDataFrame
  • [SPARK-39267] [SQL] Limpieza de símbolos innecesarios de dsl
  • [SPARK-39171] [SQL] Unificar la expresión Cast
  • [SPARK-28330] [SQL] Compatibilidad con ANSI SQL: cláusula de desplazamiento de resultados en la expresión de consulta
  • [SPARK-39203] [SQL] Reescribir la ubicación de la tabla en un URI absoluto basado en el URI de la base de datos
  • [SPARK-39313] [SQL] toCatalystOrdering debe producir un error si no se puede traducir V2Expression
  • [SPARK-39301] [SQL] [PYTHON] Aprovechar LocalRelation y respetar el tamaño del lote de Arrow en createDataFrame con optimización de Arrow
  • [SPARK-39400] [SQL] spark-sql debe quitar el dir de recursos de Hive en todos los casos

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 11.2.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 click 8.0.3
criptografía 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy 1.20.3 empaquetado 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 Solicitudes 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six (seis) 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 15-08-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
clase 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de datos 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 elementos gráficos 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0.9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matriz 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progreso 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1