Compartir a través de

Databricks Runtime 12.0 (sin soporte técnico)

  • Artículo

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 12.0, con tecnología de Apache Spark 3.3.1.

Databricks publicó estas imágenes en diciembre de 2022.

Nuevas características y mejoras

La E/S predictiva tiene disponibilidad general

La E/S predictiva ya está disponible con carácter general. Para más información, vea ¿Qué es la E/S predictiva?

El objeto de escritura de Photon admite la compresión zstd

El objeto de escritura nativo de Photon ahora admite el códec de compresión zstd cuando zstd está habilitado. Ahora establece spark.sql.parquet.compression.codec en zstd.

Compatibilidad con el perfil de recursos de tareas de nivel de fase para clústeres independientes

Ahora puede usar la programación de nivel de fase en clústeres independientes cuando la asignación dinámica está deshabilitada. Para usar esta característica, especifique los recursos de tarea con ResourceProfileBuilder para cada fase.

Compatibilidad de SQL con la sobrescritura selectiva mediante REPLACE WHERE

Ahora puede sobrescribir de forma selectiva los datos que coinciden con una expresión arbitraria en una tabla Delta mediante el siguiente patrón.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Consulte Sobrescritura selectiva arbitraria mediante replaceWhere.

Ahora se admiten marcas de agua en SQL

Ahora puede especificar marcas de agua mediante la interfaz SQL de Delta Live Tables y en consultas SQL en DataFrames de streaming. Consulte la cláusula WATERMARK.

Generación de perfiles de memoria de PySpark

La generación de perfiles de memoria ahora está habilitada para las funciones definidas por el usuario de PySpark. Esto proporciona información sobre el incremento de memoria, el uso de memoria y el número de repeticiones de cada línea de código en una función definida por el usuario.

Eliminación dinámica para DELETE y UPDATE

Cuando se utiliza el proceso habilitado para Photon, DELETE y UPDATE ahora usan la eliminación dinámica de archivos y particiones en las que sirva para mejorar el rendimiento. Por ejemplo, la eliminación dinámica se habilita cuando se usa una tabla de origen más pequeña para actualizar o eliminar filas en una tabla más grande.

Métricas de eliminación de nivel de fila para las operaciones del lenguaje de manipulación de datos con particiones

Con predicados con particiones, los usuarios ahora pueden auditar cuántas filas se eliminan al ejecutar operaciones del lenguaje de manipulación de datos (DML), como DELETE, TRUNCATE y replaceWhere.

Corrección de errores

Se ha corregido un problema que había con el análisis de JSON en el cargador automático: todas las columnas se dejaban como cadenas. Antes, cloudFiles.inferColumnTypes no estaba establecido o lo estaba en false y el JSON contenía objetos anidados.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • argon2-cffi de 20.1.0 a 21.3.0
    • attrs de 21.2.0 a 21.4.0
    • backports.entry-points-selectable de 1.1.1 a 1.2.0
    • bleach de 4.0.0 a 4.1.0
    • boto3 de 1.21.18 a 1.21.32
    • botocore de 1.24.18 a 1.24.32
    • cffi de 1.14.6 a 1.15.0
    • click de 8.0.3 a 8.0.4
    • cycler de 0.10.0 a 0.11.0
    • Cython de 0.29.24 a 0.29.28
    • debugpy de 1.4.1 a 1.5.1
    • decorator de 5.1.0 a 5.1.1
    • entrypoints de 0.3 a 0.4
    • idna de 3.2 a 3.3
    • ipykernel de 6.12.1 a 6.15.3
    • ipython de 7.32.0 a 8.5.0
    • ipywidgets de 7.7.0 a 7.7.2
    • jedi de 0.18.0 a 0.18.1
    • joblib de 1.0.1 a 1.1.0
    • jsonschema de 3.2.0 a 4.4.0
    • kiwisolver de 1.3.1 a 1.3.2
    • matplotlib de 3.4.3 a 3.5.1
    • nbclient de 0.5.3 a 0.5.13
    • nbconvert de 6.1.0 a 6.4.4
    • nbformat de 5.1.3 a 5.3.0
    • nest-asyncio de 1.5.1 a 1.5.5
    • notebook de 6.4.5 a 6.4.8
    • numpy de 1.20.3 a 1.21.5
    • packaging de 21.0 a 21.3
    • pandas de 1.3.4 a 1.4.2
    • pandocfilters de 1.4.3 a 1.5.0
    • parso de 0.8.2 a 0.8.3
    • Pillow de 8.4.0 a 9.0.1
    • platformdirs de 2.5.2 a 2.5.4
    • plotly de 5.9.0 a 5.6.0
    • prometheus-client de 0.11.0 a 0.13.1
    • protobuf de 4.21.5 a 3.19.4
    • pycparser de 2.20 a 2.21
    • Pygments de 2.10.0 a 2.11.2
    • pyodbc de 4.0.31 a 4.0.32
    • pyzmq de 22.2.1 a 22.3.0
    • requests de 2.26.0 a 2.27.1
    • s3transfer de 0.5.2 a 0.5.0
    • scikit-learn de 0.24.2 a 1.0.2
    • scipy de 1.7.1 a 1.7.3
    • statsmodels de 0.12.2 a 0.13.2
    • terminado de 0.9.4 a 0.13.1
    • tomli de 2.0.1 a 1.2.2
    • traitlets de 5.1.0 a 5.1.1
    • urllib3 de 1.26.7 a 1.26.9
    • widgetsnbextension de 3.6.0 a 3.6.1
  • Bibliotecas de R actualizadas:
    • base de 4.1.3 a 4.2.2
    • brew de 1.0-7 a 1.0-8
    • bslib de 0.4.0 a 0.4.1
    • callr de 3.7.2 a 3.7.3
    • chron de 2.3-57 a 2.3-58
    • cli de 3.3.0 a 3.4.1
    • cluster de 2.1.3 a 2.1.4
    • commonmark de 1.8.0 a 1.8.1
    • compiler de 4.1.3 a 4.2.2
    • cpp11 de 0.4.2 a 0.4.3
    • crayon de 1.5.1 a 1.5.2
    • curl de 4.3.2 a 4.3.3
    • data.table de 1.14.2 a 1.14.4
    • datasets de 4.1.3 a 4.2.2
    • desc de 1.4.1 a 1.4.2
    • devtools de 2.4.4 a 2.4.5
    • digest de 0.6.29 a 0.6.30
    • e1071 de 1.7-11 a 1.7-12
    • evaluate de 0.16 a 0.18
    • fontawesome de 0.3.0 a 0.4.0
    • future de 1.28.0 a 1.29.0
    • future.apply de 1.9.1 a 1.10.0
    • gargle de 1.2.0 a 1.2.1
    • gert de 1.8.0 a 1.9.1
    • ggplot2 de 3.3.6 a 3.4.0
    • gh de 1.3.0 a 1.3.1
    • gitcreds de 0.1.1 a 0.1.2
    • graphics de 4.1.3 a 4.2.2
    • grDevices de 4.1.3 a 4.2.2
    • grid de 4.1.3 a 4.2.2
    • httpuv de 1.6.5 a 1.6.6
    • isoband de 0.2.5 a 0.2.6
    • jsonlite de 1.8.0 a 1.8.3
    • lava de 1.6.10 a 1.7.0
    • lifecycle de 1.0.1 a 1.0.3
    • lubridate de 1.8.0 a 1.9.0
    • markdown de 1.1 a 1.3
    • MASS de 7.3-56 a 7.3-58
    • Matrix de 1.4-1 a 1.5-1
    • methods de 4.1.3 a 4.2.2
    • mgcv de 1.8-40 a 1.8-41
    • nlme de 3.1-157 a 3.1-160
    • nnet de 7.3-17 a 7.3-18
    • openssl de 2.0.2 a 2.0.4
    • parallel de 4.1.3 a 4.2.2
    • pkgload de 1.3.0 a 1.3.1
    • processx de 3.7.0 a 3.8.0
    • ps de 1.7.1 a 1.7.2
    • purrr de 0.3.4 a 0.3.5
    • ragg de 1.2.2 a 1.2.4
    • RcppEigen de 0.3.3.9.2 a 0.3.3.9.3
    • readr de 2.1.2 a 2.1.3
    • recipes de 1.0.1 a 1.0.3
    • rlang de 1.0.5 a 1.0.6
    • rmarkdown de 2.16 a 2.18
    • rpart de 4.1.16 a 4.1.19
    • RSQLite de 2.2.16 a 2.2.18
    • shiny de 1.7.2 a 1.7.3
    • SparkR de 3.3.0 a 3.3.1
    • splines de 4.1.3 a 4.2.2
    • stats de 4.1.3 a 4.2.2
    • stats4 de 4.1.3 a 4.2.2
    • sys de 3.4 a 3.4.1
    • tcltk de 4.1.3 a 4.2.2
    • testthat de 3.1.4 a 3.1.5
    • tidyr de 1.2.0 a 1.2.1
    • tidyselect de 1.1.2 a 1.2.0
    • timeDate de 4021.104 a 4021.106
    • tinytex de 0.41 a 0.42
    • tools de 4.1.3 a 4.2.2
    • utils de 4.1.3 a 4.2.2
    • vctrs de 0.4.1 a 0.5.0
    • vroom de 1.5.7 a 1.6.0
    • xfun de 0.32 a 0.34
    • yaml de 2.3.5 a 2.3.6
    • zip de 2.2.0 a 2.2.2
  • Bibliotecas de Java actualizadas:
    • com.fasterxml.jackson.core.jackson-databind de 2.13.4 a 2.13.4.2
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations de 0.5.0 a 0.13.0

Apache Spark

Databricks Runtime 12.0 incluye Apache Spark 3.3.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 11.3 LTS, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Reversión de "[SC-113542][SS] Se invierte el valor predeterminado de configuración de captura de desplazamiento de Kafka"
  • [SPARK-40646] [SC-116061] Reversión de "[SC-113379][SQL] Se corrige la devolución de resultados parciales en el origen de datos JSON y las funciones JSON"
  • [SPARK-41195] [SC-116305][SQL] Compatibilidad con PIVOT/UNPIVOT con elementos secundarios de combinación
  • [SPARK-41178] [SC-116139][SQL] Corrige la precedencia de la regla del analizador entre JOIN y coma
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] Agrega la clase de error STREAM_FAILED a StreamingQueryException
  • [SPARK-40921] Reversión de "[SC-115140][SC-114585][SQL] Agrega la cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Extiende la columna METADATA para admitir índices de fila para archivos Parquet
  • [SPARK-41055] [SC-115582][SQL] Cambia el nombre de _LEGACY_ERROR_TEMP_2424 a GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] Compatibilidad de classname de mensajes para PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalente de SQL para el comando de sobrescritura de Dataframe
  • [SPARK-41095] [SC-115659][SQL] Convierte operadores sin resolver en errores internos
  • [SPARK-41144] [SC-115866][SQL] Una sugerencia sin resolver ya no debe provocar un error de consulta
  • [SPARK-41137] [SC-115858][SQL] Cambia el nombre de LATERAL_JOIN_OF_TYPE a INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][SQL] Cambia el nombre de la clase de error _LEGACY_ERROR_TEMP_0040 a INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] Comprobación de valores NULL de UnitTest para el generador de datos
  • [SPARK-40769] [SC-114923][CORE][SQL] Migración de errores de comprobación de tipos en expresiones agregadas a clases de error
  • [SPARK-41043] [SC-115183][SQL] Cambia el nombre de la clase de error _LEGACY_ERROR_TEMP_2429 a NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Compatibilidad con la importación de Protobuf y traslado de clases de error.
  • [SPARK-41019] [SC-114987][SQL] Proporciona un contexto de consulta a failAnalysis()
  • [SPARK-41027] [SC-115131][SQL] Uso de UNEXPECTED_INPUT_TYPE en vez de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] Se reduce el tamaño aleatorio de ALS
  • [SPARK-41134] [SC-115851][SQL] Mejora del mensaje de error de los errores internos
  • [SPARK-37980]Reversión “ [SQL] Extiende la columna METADATA para admitir índices de fila para archivos Parquet
  • [SPARK-41109] [SC-115788][SQL] Cambia el nombre de la clase de error _LEGACY_ERROR_TEMP_1216 a INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][CORE][SQL] Se usa NON_FOLDABLE_INPUT en vez de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][SQL] Optimización del uso de constructor de GenericArrayData para Scala 2.13
  • [SPARK-40697] [SC-113648][SQL] Agrega relleno de caracteres de lectura para cubrir archivos de datos externos
  • [SPARK-40978] [SC-114574][SQL] Migración de failAnalysis() sin contexto a clases de error
  • [SPARK-40663] [SC-114586][SQL] Migración de errores de ejecución a clases de error: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2: Compatibilidad con el filtrado de grupos en tiempo de ejecución en comandos de nivel de fila
  • [SPARK-40372] [SC-115668][SQL] Migración de errores de comprobaciones de tipo de matriz a clases de error
  • [SPARK-41038] [SC-115371][SQL] Cambia el nombre de MULTI_VALUE_SUBQUERY_ERROR a SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][SQL] Cambia el nombre de la clase de error _LEGACY_ERROR_TEMP_1208 a FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][SQL] Migración de errores de comprobación de tipos en condiciones a clases de error
  • [SPARK-40371] [SC-114557][SQL] Migración de errores de comprobación de tipos en NthValue y NTile a clases de error
  • [SPARK-41092] [SC-115547][SQL] No se usa el identificador para buscar coincidencias con unidades de intervalo
  • [SPARK-41009] [SC-115360][SQL] Cambia el nombre de la clase de error _LEGACY_ERROR_TEMP_1070 a LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Extiende la columna METADATA para admitir índices de fila para archivos Parquet
  • [SPARK-40967] [SC-114448][SQL] Migración de failAnalysis() a clases de error
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] Instrumentación de UDF de Python mediante métricas de SQL
  • [SPARK-41012] [SC-114873][SQL] Cambia el nombre de _LEGACY_ERROR_TEMP_1022 a ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][SQL] Cambia el nombre de PARSE_CHAR_MISSING_LENGTH a DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][SQL] Migración de errores de comprobación de tipos en expresiones misceláneas a clases de error
  • [SPARK-37945] [SC-115534][SQL][CORE] Se usan clases de error en los errores de ejecución de operaciones aritméticas
  • [SPARK-40374] [SC-114705][SQL] Migración de errores de comprobación de tipos en creadores de tipos a clases de error
  • [SPARK-41056] [SC-115354][R] Corrección del nuevo comportamiento R_LIBS_SITE introducido en R 4.2
  • [SPARK-41041] [SC-115357][SQL] Integración de _LEGACY_ERROR_TEMP_1279 en TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][SQL] Migración de errores de ejecución a clases de error: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] Cambia el nombre de la clase de error _LEGACY_ERROR_TEMP_1019 a STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][SQL] No se aplican revisiones a elementos secundarios plegables de funciones de agregado en RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][SQL] Mejora de las clases de error y los mensajes
  • [SPARK-40798] [SC-113782][SQL] Alter partition debe comprobar el valor follow storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][SQL] Use SparkIllegalArgumentException en vez de IllegalArgumentException en CreateDatabaseCommand y AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][SC-114585][SQL] Agrega la cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO
  • [SPARK-40360] [SC-114965] Excepciones ALREADY_EXISTS y NOT_FOUND
  • [SPARK-41007] [SC-115085][SQL] Se ha agregado el serializador que falta en java.math.BigInteger
  • [SPARK-40751] [SC-114254][SQL] Migración de errores de comprobación de tipos en funciones de alta prioridad a clases de error
  • [SPARK-40248] [SC-114704][SQL] Uso de un mayor número de bits para compilar el filtro Bloom
  • [SPARK-41040] [SC-115145][SS] Corrección de errores de consulta de streaming de unión automática al usar readStream.table
  • [SPARK-32380] [SC-114966][SQL] Corrección del acceso de la tabla de HBase a través de Hive desde Spark
  • [SPARK-40749] [SC-114860][SQL] Migración de errores de comprobación de tipos en generadores a clases de error
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] Corrección del operador con estado late re...
  • [SPARK-40654] [SC-112783] Eliminación de líneas de registro temporales
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] Corrección de advertencias de compilación de Java relacionadas con el tipo genérico
  • [SPARK-40657] [SC-113642][Selección exclusiva] Se agrega compatibilidad con las clases de Java en Protob...
  • [SPARK-40898] [SC-113932][SQL] Nombres de función quote en errores de coincidencia de tipos de datos
  • [SPARK-40760] [SC-113750][SQL] Migración de errores de comprobación de tipos en expresiones de intervalos a clases de error
  • [SPARK-36114] [SC-113771][SQL] Compatibilidad de subconsultas con predicados de no igualdad correlacionados
  • [SPARK-40856] [SC-113738][SQL] Se actualiza la plantilla de error de WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][SQL] Migración de errores de comprobación de tipos en periodos de tiempo a clases de error
  • [SPARK-40750] [SC-113812][SQL] Migración de errores de comprobación de tipos en expresiones matemáticas a clases de error
  • [SPARK-40756] [SC-113749][SQL] Migración de errores de comprobación de tipos en expresiones de cadena a clases de error
  • [SPARK-40768] [SC-113640][SQL] Migración de errores de comprobación de tipos en bloom_filter_agg() a clases de error
  • [SPARK-40369] [SC-113402][CORE][SQL] Migración de los errores de comprobación de tipos en llamadas mediante reflexión a clases de error
  • [SPARK-39445] [SQL] Se retira la ventana si windowExpressions está vacía en la eliminación de columnas
  • [SPARK-40761] [SC-113245][SQL] Migración de errores de comprobación de tipos en expresiones percentiles a clases de error
  • [SPARK-40361] [SC-112789][SQL] Migración de errores de comprobación de tipos aritméticos a clases de error
  • [SPARK-40714] [SC-112576][SQL] Se retira PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][SQL] Se corrigen las especificaciones de partición en PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][SQL] Migración de errores de comprobación de tipos de recopilación a clases de error
  • [SPARK-40910] [SC-114259][SQL] Se reemplaza UnsupportedOperationException por SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][SQL] Se agrega UNPIVOT a la sintaxis SQL
  • [SPARK-39783] [SC-113389][SQL] Se usan comillas en qualifiedName para corregir las comillas inversas de los candidatos de columna en mensajes de error
  • [SPARK-40663] [SC-112520][SQL] Migración de errores de ejecución a clases de error: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] Se cambia el nombre de la clase de error _LEGACY_ERROR_TEMP_0021 a UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][SQL] Se eliminan los campos de subclases de error independientes
  • [SPARK-40944] [SC-114530][SQL] Restricción de ordenación relajante para las opciones de columna CREATE TABLE
  • [SPARK-40815] [SC-114528][SQL] Se ha agregado DelegateSymlinkTextInputFormat al error SymlinkTextInputSplit de solución alternativa
  • [SPARK-40933] [SC-114441][SQL] Se reimplementa df.stat. {cov, corr} con funciones sql integradas
  • [SPARK-40932] [SC-114439][CORE] Se invalidan los mensajes de problema de allGather
  • [SPARK-39312] [SQL] Uso del predicado In nativo de Parquet en la inserción de filtros
  • [SPARK-40862] [SC-114352][SQL] Admite subconsultas no agregadas en RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][SQL] Establecimiento correcto de admisión de valores NULL en el proyecto creado por ExtractGenerator
  • [SPARK-40663] [SC-112295][SQL] Migración de errores de ejecución a clases de error: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] Se relaja el requisito de la regla window_time: se permiten varias llamadas de window_time
  • [SPARK-40540] [SC-111639][SQL] Migración de errores de compilación a clases de error: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] Corrección para Unhex cuando la entrada tiene un número de símbolos impar
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] Introduce la función window_time para extraer la hora del evento de la columna de ventana
  • [SPARK-40800] [SC-113772][SQL] Las expresiones se insertan siempre en OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][SQL] Se reimplementa frequentItems con operaciones de dataframe
  • [SPARK-40735] [SC-114022][SC-112657] Se invoca de forma coherente bash con /usr/bin/env bash en scripts para que el código sea más portable
  • [SPARK-40773] [SC-113091][SQL] Refactorización de checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][SQL] Se comprueban los tipos de datos no admitidos al anular la correlación de subconsultas
  • [SPARK-40660] [SC-112293][CORE][SQL] Cambio a XORShiftRandom para distribuir elementos
  • [SPARK-40540] [SC-113926][SC-111331][SQL] Migración de errores de compilación a clases de error
  • [SPARK-40551] [SC-113135][SQL] DataSource V2: Agregar API para operaciones de nivel de fila basadas en delta
  • [SPARK-39391] [SC-110676][CORE] Reutilización de clases de particionador
  • [SPARK-40368] [SC-113396][SQL] Migración de errores de comprobación de tipos Bloom Filter a clases de error
  • [SPARK-39146] [SC-111814][CORE][SQL] Se introduce un singleton local para ObjectMapper que se puede reutilizar
  • [SPARK-40357] [SC-113786][SC-111352][SQL] Migración de errores de comprobación de tipos de ventana a clases de error
  • [SPARK-40874] [SC-113756][PYTHON] Corrección de difusiones en UDF de Python cuando el cifrado está habilitado
  • [SPARK-40359] [SC-113770][SC-111146][SQL] Se produce un error en la migración de errores de comprobación de tipos en expresiones CSV o JSON a clases de error
  • [SPARK-40880] [SC-113764][SQL] Se reimplementa summary con operaciones de dataframe
  • [SPARK-40877] [SC-113763][SQL] Se reimplementa crosstab con operaciones de dataframe
  • [SPARK-40382] [SC-113098][SQL] Se agrupan expresiones de agregado distintas mediante elementos secundarios semánticamente equivalentes en RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][SS] Se agrega una comprobación de cambio de nombre de archivo y punto de control adicional
  • [SPARK-40829] [SC-113426][SQL] STORED AS serde en la vista CREATE TABLE LIKE no funciona
  • [SPARK-40844] [SC-113542][SS] Se invierte el valor predeterminado de configuración de captura de desplazamiento de Kafka
  • [SPARK-40488] [SC-113568][SC-111160] No se ajustan las excepciones producidas cuando se genera un error en la escritura del origen de datos
  • [SPARK-40560] [SC-113631][SC-111335][SQL] Se cambia el nombre de message a messageTemplate en el formato STANDARD de errores
  • [SPARK-40618] [SC-113096][SQL] Corrección del error en la regla MergeScalarSubqueries con subconsultas anidadas mediante el seguimiento de referencias
  • [SPARK-40530] [SC-113528][SC-111332][SQL] Se agregan API de desarrollador relacionadas con errores
  • [SPARK-40806] [SC-113250][SQL] Corrección de errores tipográficos: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][SQL] Se corrige la devolución de resultados parciales en el origen de datos JSON y las funciones JSON
  • [SPARK-40654] [Selección exclusiva][SC-112783][SQL] Compatibilidad de Protobuf con Spark- from...
  • [SPARK-40753] [SC-113539][SQL] Corrección del error en caso de prueba para la operación de directorio de catálogo
  • [SPARK-40765] [SC-113056][SQL] Se optimiza la operación fs redundante en el método CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][R][11.X] Compatibilidad de Arrow 9.0.0 con SparkR
  • [SPARK-40479] [SC-110935][SQL] Migración de un error de tipo de entrada inesperado a una clase de error
  • [SPARK-40473] [SC-113388][SC-111141][SQL] Migración de errores de análisis a clases de error
  • [SPARK-39853] [SC-111867][CORE] Compatibilidad con el perfil de recursos de tarea de nivel de fase para un clúster independiente cuando la asignación dinámica está deshabilitada (backport desde PR-47157)
  • [SPARK-40407] [SC-111161][SQL] Se corrige la posible asimetría de datos causada por df.repartition
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE no necesita realizar la búsqueda de tablas
  • [SPARK-40703] [SC-113242][SQL] Se introduce un orden aleatorio en SinglePartition para mejorar el paralelismo
  • [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil para establecer el origen de las opciones de configuración de hadoop/hive
  • [SPARK-39062] [11.x][CORE] Se agrega compatibilidad con la programación de recursos de nivel de fase para un clúster independiente
  • [SPARK-33861] [SC-109877]Reversión "[SQL] Se simplifica el condicional en el predicado"
  • [SPARK-40667] [SC-113136][SQL] Opciones de origen de datos de archivos de refactorización
  • [SPARK-40370] [SC-110677][SQL] Se produce un error en la migración de errores de comprobación en las clases de error en CAST
  • [SPARK-40611] [SC-113105][SQL] Mejorar el rendimiento de setInterval y getInterval para UnsafeRow
  • [SPARK-40733] [SC-113126][SQL] Hace que el contenido de SERDEPROPERTIES en el resultado de ShowCreateTableAsSerdeCommand tenga un orden fijo
  • [SPARK-40585] [SC-112180][SQL] Admite identificadores entre comillas dobles
  • [SPARK-40772] [SC-112992][SQL] Mejora de spark.sql.adaptive.skewJoin.skewedPartitionFactor para admitir valores Double
  • [SPARK-40565] [SC-112417][SQL] No inserta filtros no deterministas en orígenes de archivos V2
  • [SPARK-8731] [SC-112784] Beeline no funciona con la opción -e cuando se inicia en segundo plano
  • [SPARK-35242] [SC-111398][SQL] Compatibilidad con el cambio de la base de datos predeterminada del catálogo de sesiones
  • [SPARK-40426] [SC-110672][SQL] Devuelve un mapa desde SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] Optimiza el rendimiento del patrón de código keys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][SQL] La devolución solo cierra particiones en PartitionsAlreadyExistException desde la partición de creaciones de Hive
  • [SPARK-40705] [SC-112567][SQL] Controla el caso de uso de una matriz mutable al convertir filas en JSON para Scala 2.13
  • [SPARK-39895] [SC-112590][SQL][PYTHON] Compatibilidad con la colocación de varias columnas
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] Se quitan las operaciones de interpolador de cadenas redundantes
  • [SPARK-40420] [SC-112604][SC-110569][SQL] Se ordenan los parámetros de mensaje de error por nombres en formatos JSON
  • [SPARK-40403] [SC-110564][SQL] Se calcula el tamaño de matriz no seguro mediante longs para evitar el tamaño negativo en el mensaje de error
  • [SPARK-40482] [SC-110831][SQL] Se revierte SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][SC-110397][SQL] Pasa parámetros de mensaje de error a excepciones como mapas
  • [SPARK-40628] [SC-112414][SQL] No inserta una condición compleja de semicombinación izquierda/anti a través del proyecto
  • [SPARK-40562] [SC-111455][SQL] Agrega spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][SQL] Agrega PushProjectionThroughLimit para el optimizador
  • [SPARK-39200] [SC-111244][CORE] Realiza el almacenamiento de reserva readFully en el contenido
  • [SPARK-38717] [SC-111241][SQL] Controla el comportamiento de conservación de mayúsculas y minúsculas del cubo de Hive
  • [SPARK-40385] [SC-111123][SQL] Corrección de la ruta de acceso interpretada para el constructor de objetos complementarios
  • [SPARK-40216] [SC-112413][SQL] Se extrae el método común ParquetUtils.prepareWrite para eliminar duplicados del código en ParquetFileFormat y ParquetWrite
  • [SPARK-40636] [SC-112160][CORE] Corrección de registros incorrectos de orden aleatorio en BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Corrección de la condición de carrera en el control de las entradas stageTCMP de ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][SQL] Corrección del error en la regla MergeScalarSubqueries con subconsultas anidadas
  • [SPARK-40612] [SC-111933][CORE] Corrección de la entidad de seguridad usada para la renovación de tokens de delegación en administradores de recursos que no son de YARN
  • [SPARK-40595] [SC-111662][SQL] Mejora del mensaje de error para las relaciones CTE sin usar
  • [SPARK-40314] [SC-111879][SQL][PYTHON] Se agregan enlaces scala y python para inline y inline_outer
  • [SPARK-40416] [SC-110945][SQL] Traslado de mensajes de error CheckAnalysis de la expresión de subconsulta para usar el nuevo marco de error
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() debe producir las excepciones de su elemento secundario
  • [SPARK-40509] [SC-111644][SS][PYTHON] Se agrega un ejemplo para applyInPandasWithState
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() debe producir las excepciones de su elemento secundario
  • [SPARK-40016] [SQL] Se quita el TryEval innecesario en la implementación de try_sum()
  • [SPARK-40527] [SC-111224][SQL] Se mantienen nombres de campo de estructura o claves de asignación en CreateStruct
  • [SPARK-38098] [SC-111178][PYTHON] Agrega compatibilidad de ArrayType de StructType anidados con la conversión basada en flechas
  • [SPARK-40324] [SC-111359][SC-110293][SQL] Proporciona contexto de consultas en AnalysisException
  • [SPARK-40492] [SC-111324][SS] Realiza mantenimiento antes de descargar StateStore de streaming
  • [SPARK-40487] [SC-111124][SQL] Convierte defaultJoin en BroadcastNestedLoopJoinExec en ejecución en paralelo
  • [SPARK-40474] [SC-111273][SQL] Corrección del comportamiento de inferencia de esquema CSV y análisis de datos en columnas con fechas y marcas de tiempo mixtas
  • [SPARK-40508] [SC-111066][SQL] Trata la creación de particiones desconocidas como UnknownPartitioning
  • [SPARK-40496] [SC-111234][SC-111013][SQL] Corrección de configuraciones para controlar "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][SS][PYTHON] Agrega conjuntos de pruebas para applyInPandasWithState en PySpark
  • [SPARK-40434] [SC-111125][SS][PYTHON] Implementación de applyInPandasWithState en PySpark

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 12.0.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 criptografía 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0,4 executing 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notebook 6.4.8 numpy 1.21.5 empaquetado 21,3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 Solicitudes 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six (seis) 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 11-11-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 clase 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 4.3.3
data.table 1.14.4 conjuntos de datos 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 elementos gráficos 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ciclo de vida 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progreso 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1