Databricks Runtime 14.1
En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 14.1, con tecnología de Apache Spark 3.5.0.
Databricks publicó esta versión en octubre de 2023.
Sugerencia
Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.
Nuevas características y mejoras
- array_insert() se basa en 1 para índices negativos
- Puntos de comprobación Delta v2 habilitados de forma predeterminada con la agrupación en clústeres líquidos
- Quitar la característica de tabla Delta en la versión preliminar pública
- Delta Sharing: los destinatarios pueden realizar consultas por lotes en tablas compartidas con vectores de eliminación (versión preliminar pública)
- Uso compartido delta: los destinatarios pueden realizar consultas por lotes en tablas compartidas con asignación de columnas (Versión preliminar pública)
- Transmisión desde vistas de catálogo de Unity en versión preliminar pública
- Conector de Apache Pulsar en versión preliminar pública
- Controlador de Snowflake actualizado
- Variables de sesión SQL
- invocación de parámetros con nombre para UDF de SQL y Python.
- Los argumentos de tabla para funciones son compatibles con la creación de particiones y el orden.
- funciones SQL integradas nuevas y mejoradas
- control mejorado de subconsultas correlacionadas
array_insert() se basa en 1 para índices negativos
La función array_insert se basa en 1 para índices positivos y negativos. Ahora inserta un nuevo elemento al final de las matrices de entrada para el índice -1. Para restaurar el comportamiento anterior, establezca spark.sql.legacy.negativeIndexInArrayInsert en true.
Puntos de comprobación Delta v2 habilitados de forma predeterminada con la agrupación en clústeres líquidos
Las tablas Delta recién creadas con clústeres líquidos usan puntos de control v2 de forma predeterminada. Consulte Compatibilidad para tablas con agrupación en clústeres líquidos.
Quitar la característica de tabla Delta en la versión preliminar pública
Ahora puede quitar algunas características de tabla para las tablas Delta. La compatibilidad actual incluye quitar deletionVectors y v2Checkpoint. Consulte Eliminación de características de una tabla Delta.
Delta Sharing: los destinatarios pueden realizar consultas por lotes, de CDF y de streaming en tablas compartidas con vectores de eliminación (versión preliminar pública)
Los destinatarios de Delta Sharing ahora pueden realizar consultas por lotes en tablas compartidas que usan vectores de eliminación. Consulte Agregar tablas con vectores de eliminación o asignación de columnas a un recurso compartido, Tablas de lectura con vectores de eliminación o asignación de columnas habilitadas y Lectura de tablas con vectores de eliminación o asignación de columna habilitadas.
Uso compartido delta: los destinatarios pueden realizar consultas por lotes en tablas compartidas con asignación de columnas (Versión preliminar pública)
Los destinatarios de Uso compartido delta ahora pueden realizar consultas por lotes en tablas compartidas que usan la asignación de columnas. Consulte Agregar tablas con vectores de eliminación o asignación de columnas a un recurso compartido, Tablas de lectura con vectores de eliminación o asignación de columnas habilitadas y Lectura de tablas con vectores de eliminación o asignación de columna habilitadas.
Transmisión desde vistas de catálogo de Unity en versión preliminar pública
Ahora puede usar Structured Streaming para realizar lecturas de Streaming de vistas registradas con el catálogo de Unity. Azure Databricks solo admite lecturas de streaming de vistas definidas en tablas Delta. Consulte Leer una vista de catálogo de Unity como una secuencia.
Conector de Apache Pulsar en versión preliminar pública
Ahora puede usar Structured Streaming para transmitir datos desde Apache en Azure Databricks. Consulte Transmitir desde Apache Pulsar.
Controlador de Snowflake actualizado
El controlador JDBC de Snowflake ahora usa la versión 3.13.33.
Variables de sesión SQL
Esta versión presenta la capacidad de declarar variables temporales en una sesión que se puede establecer y, a continuación, hacer referencia a desde dentro de las consultas. Consulte Variables.
Invocación de parámetros con nombre para UDF de SQL y Python.
Ahora puede usar de invocación de parámetros con nombre en SQL y UDF de Python.
Los argumentos de tabla para funciones son compatibles con la creación de particiones y el orden.
Ahora puede usar las cláusulas PARTITION BY y ORDER BY para controlar cómo se pasan los argumentos de tabla a una función durante la invocación de función.
Funciones SQL integradas nuevas y mejoradas
Se han agregado las siguientes funciones:
- from_xml: analiza un XML
STRINGen unSTRUCT. - schema_of_xml: Deriva un esquema de un
STRINGXML. - session_user: devuelve el usuario que ha iniciado sesión.
- try_reflect: devuelve
NULLen lugar de la excepción si se produce un error en un método de Java.
Se han mejorado las siguientes funciones:
- modo: compatibilidad con un parámetro opcional que fuerza un resultado determinista.
- to_char: nueva compatibilidad con
DATE,TIMESTAMPyBINARY. - to_varchar: nueva compatibilidad con
DATE,TIMESTAMPyBINARY.
Control mejorado de subconsultas correlacionadas
Se ha ampliado la capacidad de procesar la correlación en subconsultas:
- Control del límite y el orden en subconsultas escalares (laterales) correlacionadas.
- Compatibilidad de funciones de ventana en subconsultas escalares correlacionadas.
- Compatibilidad con referencias correlacionadas en predicados de combinación para subconsultas escalares y laterales
Cambio de comportamiento
Comprobación estricta de tipos en el lector de Parquet de Photon
Se produce un error en Photon al intentar leer un valor decimal de una columna Parquet que no es un tipo decimal. Photon también produce un error al leer una matriz de bytes de longitud fija de Parquet como una cadena.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- filelock de 3.12.2 a 3.12.3
- s3transfer de 0.6.1 a 0.6.2
- Bibliotecas de Java actualizadas:
- com.uber.h3 de 3.7.0 a 3.7.3
- io.airlift.aircompressor de 0.24 a 0.25
- io.delta.delta-sharing-spark_2.12 de 0.7.1 a 0.7.5
- io.netty.netty-all de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-buffer de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-codec de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-codec-http de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-codec-http2 de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-codec-socks de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-common de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-handler de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-handler-proxy de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-resolver de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport-classes-epoll de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport-classes-kqueue de 4.1.93.Final a 4.1.96.Final
- io.netty.netty-transport-native-epoll de 4.1.93.Final-linux-x86_64 a 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue de 4.1.93.Final-osx-x86_64 a 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common de 4.1.93.Final a 4.1.96.Final
- net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.33
- org.apache.orc.orc-core de 1.9.0-shaded-protobuf a 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.9.0-shaded-protobuf a 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims de 1.9.0 a 1.9.1
Apache Spark
Databricks Runtime 14.1 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 14.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:
- [SPARK-45088] [DBRRM-557] Revert “[SC-142785][PYTHON][CONNECT] Hacer que getitem funcione con una columna duplicada”
- [SPARK-43453] [DBRRM-557]Revert “[SC-143135][PS] Omitir
namesdeMultiIndexcuandoaxis=1paraconcat” - [SPARK-45225] [SC-143207][SQL] XML: compatibilidad con direcciones URL de archivos XSD
- [SPARK-45156] [SC-142782][SQL] Ajuste de
inputNamepor acentro grave en la clase de errorNON_FOLDABLE_INPUT - [SPARK-44910] [SC-143082][SQL] Encoders.bean no admite superclases con argumentos de tipo genérico
- [SPARK-43453] [SC-143135][PS] Omitir
namesdeMultiIndexcuandoaxis=1paraconcat - [SPARK-44463] [SS][CONNECT] Mejora del control de errores para conectar el trabajo de streaming de Python
- [SPARK-44960] [SC-141023][UI] Resumen de errores unescape y consist en las páginas de la interfaz de usuario
- [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] Adición de from_xml y schema_of_xml a pyspark, spark connect y la función sql
- [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5] Adición de paquetes que faltan en setup.py
- [SPARK-45151] [SC-142861][CORE][UI] Compatibilidad con volcados de subprocesos de nivel de tarea
- [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] Pruebas de terminación para streamingQueryListener y foreachBatch
- [SPARK-45084] [SC-142828][SS] StateOperatorProgress para usar el número de partición aleatorio efectivo preciso
- [SPARK-44872] [SC-142405][CONNECT] Infraestructura de pruebas de servidor y ReattachableExecuteSuite
- [SPARK-45197] [SC-142984][CORE] Hacer que
StandaloneRestServeragregueJavaModuleOptionsa controladores - [SPARK-44404] [SC-139601][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297][SQL] Compatibilidad con SPJ en el que las claves de combinación son menores que las claves de clúster
- [SPARK-45088] [SC-142785][PYTHON][CONNECT] Hacer que
getitemfuncione con columnas duplicadas - [SPARK-45128] [SC-142851][SQL] Compatibilidad de
CalendarIntervalTypecon Arrow - [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] Evitar que Spark conecte el modelo de ML para cambiar el dataframe de Pandas de entrada
- [SPARK-45034] [SC-142959][SQL] Compatibilidad con la función de modo determinista
- [SPARK-45173] [SC-142931][UI] Eliminación de algunos archivos sourceMapping innecesarios en la interfaz de usuario
- [SPARK-45162] [SC-142781][SQL] Compatibilidad con mapas y parámetros de matriz construidos a través de
call_function - [SPARK-45143] [SC-142840][PYTHON][CONNECT] Hacer que PySpark sea compatible con PyArrow 13.0.0
- [SPARK-45174] [SC-142837][CORE] Compatibilidad con
spark.deploy.maxDrivers - [SPARK-45167] [SC-142956] [CONNECT][PYTHON] El cliente de Python debe llamar a
release_all - [SPARK-36191] [SC-142777][SQL] Control del límite y el orden en subconsultas escalares (laterales) correlacionadas
- [SPARK-45159] [SC-142829][PYTHON] Control de argumentos con nombre solo cuando sea necesario
- [SPARK-45133] [SC-142512][CONNECT] Hacer que las consultas de Spark Connect se completen cuando finalice la última tarea de resultado
- [SPARK-44801] [SC-140802][SQL][UI] Captura del análisis de consultas con errores en el cliente de escucha y la interfaz de usuario
- [SPARK-45139] [SC-142527][SQL] Agregar DatabricksDialect para controlar la conversión de tipos SQL
- [SPARK-45157] [SC-142546][SQL] Evitar comprobaciones
ifrepetidas en[On|Off|HeapColumnVector - [SPARK-45077] Revertir "[SC-142069][UI] Actualización de dagre-d3.js de 04.3 a 0.6.4"
- [SPARK-45145] [SC-142521][EJEMPLO] Ejemplo de adición de JavaSparkSQLCli
- [SPARK-43295] Revertir "[SC-142254][PS] Admitir columnas de tipo de cadena para
DataFrameGroupBy.sum" - [SPARK-44915] [SC-142383][CORE] Validar la suma de comprobación de los datos aleatorios de PVC remontados antes de la recuperación
- [SPARK-45147] [SC-142524][CORE] Eliminación del uso de
System.setSecurityManager - [SPARK-45104] [SC-142206][UI] Actualización de
graphlib-dot.min.jsa 1.0.2 - [SPARK-44238] [SC-141606][CORE][SQL] Introducción de un nuevo método
readFromcon entrada de matriz de bytes paraBloomFilter - [SPARK-45060] [SC-141742][SQL] Corrección de un error interno desde
to_char()al formatoNULL - [SPARK-43252] [SC-142381][SQL] Se reemplazó la clase de error
_LEGACY_ERROR_TEMP_2016por un error interno - [SPARK-45069] [SC-142279][SQL] La variable SQL siempre debe resolverse después de la referencia externa
- [SPARK-44911] [SC-142388][SQL] La creación de una tabla de subárbol con una columna no válida debe devolver una clase de error
- [SPARK-42754] [SC-125567][SQL][UI] Corrección del problema de compatibilidad con versiones anteriores en la ejecución de SQL anidada
- [SPARK-45121] [SC-142375][CONNECT][PS] Compatibilidad de
Series.emptycon Spark Connect. - [SPARK-44805] [SC-142203] [SQL] getBytes/getShorts/getInts/etc. debe funcionar en un vector de columna que tenga un diccionario
- [SPARK-45027] [SC-142248][PYTHON] Ocultar funciones o variables internas en
pyspark.sql.functionsde la finalización automática - [SPARK-45073] [SC-141791][PS][CONNECT] Reemplazar
LastNotNullporLast(ignoreNulls=True) - [SPARK-44901] [SC-141676][SQL] Backport manual: agregar la API en el método "analyze" UDTF de Python para devolver expresiones de creación de particiones o ordenación
- [SPARK-45076] [SC-141795][PS] Cambiar a la función integrada
repeat - [SPARK-44162] [SC-141605][CORE] Compatibilidad con G1GC en métricas de Spark
- [SPARK-45053] [SC-141733][PYTHON][MENOR] Mejora en el registro en el error de coincidencia de la versión de Python
- [SPARK-44866] [SC-142221][SQL] Agregar
SnowflakeDialectpara controlar correctamente el tipo BOOLEANO - [SPARK-45064] [SC-141775][PYTHON][CONNECT] Agregar el parámetro
scaleque falta enceil/ceiling - [SPARK-45059] [SC-141757][CONNECT][PYTHON] Agregar funciones
try_reflecta Scala y Python - [SPARK-43251] [SC-142280][SQL] Se reemplazó la clase de error
_LEGACY_ERROR_TEMP_2015por un error interno - [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] Hacer que los nombres de los alias de función de la columna de salida sean coherentes con SQL
- [SPARK-44239] [SC-141502][SQL] Memoria libre asignada por vectores grandes cuando se restablecen los vectores
- [SPARK-43295] [SC-142254][PS] Admitir columnas de tipo de cadena para
DataFrameGroupBy.sum - [SPARK-45080] [SC-142062][SS] Compatibilidad con llamadas explícitas para columnas en orígenes de datos de streaming DSv2
- [SPARK-45036] [SC-141768][SQL] SPJ: simplificar la lógica para controlar la distribución agrupada parcialmente
- [SPARK-45077] [SC-142069][UI] Actualización de dagre-d3.js de 0.4.3 a 0.6.4
- [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] La función
floor/round/broundacepta el tipo de columnascale - [SPARK-45090] [SC-142019][PYTHON][CONNECT] Compatibilidad de
DataFrame.{cube, rollup}con índices de columna - [SPARK-44743] [SC-141625][SQL] Adición de la función
try_reflect - [SPARK-45086] [SC-142052][UI] Mostrar hexadecimales para el código hash de bloqueo de subprocesos
- [SPARK-44952] [SC-141644][SQL][PYTHON] Compatibilidad con argumentos con nombre en UDF de Pandas agregados
- [SPARK-44987] [SC-141552][SQL] Asignar un nombre a la clase de error
_LEGACY_ERROR_TEMP_1100 - [SPARK-45032] [SC-141730][CONNECT] Corrección de advertencias de compilación relacionadas con
Top-level wildcard is not allowed and will error under -Xsource:3 - [SPARK-45048] [SC-141629][CONNECT] Adición de pruebas adicionales para el cliente de Python y la ejecución adjuntable
- [SPARK-45072] [SC-141807][CONNECT] Corrección de ámbitos externos para clases ammonite
- [SPARK-45033] [SC-141759][SQL] Compatibilidad con mapas por
sql()parametrizado - [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] Hacer que la función
repeatacepte el tipo de columnan - [SPARK-44860] [SC-141103][SQL] Agregar la función SESSION_USER
- [SPARK-45074] [SC-141796][PYTHON][CONNECT] Compatibilidad de
DataFrame.{sort, sortWithinPartitions}con índices de columna - [SPARK-45047] [SC-141774][PYTHON][CONNECT] Compatibilidad de
DataFrame.groupBycon ordinales - [SPARK-44863] [SC-140798][UI] Adición de un botón para descargar el volcado de subprocesos como un txt en la interfaz de usuario de Spark
- [SPARK-45026] [SC-141604][CONNECT]
spark.sqldebe admitir tipos de datos no compatibles con Arrow - [SPARK-44999] [SC-141145][CORE] Refactorización de
ExternalSorterpara reducir las comprobaciones enshouldPartitional llamar agetPartition - [SPARK-42304] [SC-141501][SQL] Cambia el nombre de
_LEGACY_ERROR_TEMP_2189aGET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450][SQL] Corrección de IllegalStateException al agrupar dos conjuntos de datos derivados del mismo origen
- [SPARK-45018] [SC-141516][PYTHON][CONNECT] Adición de CalendarIntervalType al cliente de Python
- [SPARK-45024] [SC-141513][PYTHON][CONNECT] Filtrado de algunas configuraciones en la creación de sesiones
- [SPARK-45017] [SC-141508][PYTHON] Adición de
CalendarIntervalTypea PySpark - [SPARK-44720] [SC-139375][CONNECT] Hacer que el conjunto de datos use Encoder en lugar de AgnosticEncoder
- [SPARK-44982] [SC-141027][CONNECT] Marcar las configuraciones del servidor de Spark Connect como estáticas
- [SPARK-44839] [SC-140900][SS][CONNECT] Mejor registro de errores cuando el usuario intenta serializar la sesión de Spark
- [SPARK-44865] [SC-140905][SS] Hacer que StreamingRelationV2 admita la columna de metadatos
- [SPARK-45001] [SC-141141][PYTHON][CONNECT] Implementación de DataFrame.foreachPartition
- [SPARK-44497] [SC-141017][WEBUI] Mostrar el identificador de partición de tarea en la tabla de tareas
- [SPARK-45006] [SC-141143][UI] Use el mismo formato de fecha de otros elementos de fecha de la interfaz de usuario para el eje X de las escalas de tiempo
- [SPARK-45000] [SC-141135][PYTHON][CONNECT] Implementación de DataFrame.foreach
- [SPARK-44967] [SC-141137][SQL][CONNECT] La unidad debe considerarse primero antes de usar un booleano para TreeNodeTag
- [SPARK-44993] [SC-141088][CORE] Adición de
ShuffleChecksumUtils.compareChecksumsmediante la reutilización deShuffleChecksumTestHelp.compareChecksums - [SPARK-44807] [SC-140176][CONNECT] Adición de Dataset.metadataColumn al cliente de Scala
- [SPARK-44965] [SC-141098][PYTHON] Ocultar funciones o variables internas de
pyspark.sql.functions - [SPARK-44983] [SC-141030][SQL] Conversión de un binario en cadena por
to_charpara los formatos:hex,base64,utf-8 - [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] Se ha corregido la herencia de namedtuples para trabajar en createDataFrame
- [SPARK-44985] [SC-141033][CORE] Usar toString en lugar de stacktrace para threadDump de reaper de tareas
- [SPARK-44984] [SC-141028][PYTHON][CONNECT] Eliminación de
_get_aliasde DataFrame - [SPARK-44975] [SC-141013][SQL] Se resolvió la Eliminación de BinaryArithmetic a menos que se invalide
- [SPARK-44969] [SC-140957][SQL] Reutilización de
ArrayInsertenArrayAppend - [SPARK-44549] [SC-140714][SQL] Compatibilidad de funciones de ventana en subconsultas escalares correlacionadas
- [SPARK-44938] [SC-140811][SQL] Cambio del valor predeterminado de
spark.sql.maxSinglePartitionBytesa 128m - [SPARK-44918] [SC-140816][SQL][PYTHON] Compatibilidad con argumentos con nombre en UDF escalares de Python/Pandas
- [SPARK-44966] [SC-140907][CORE][CONNECT] Cambio del valor
varnunca cambiado aval - [SPARK-41471] [SC-140804][SQL] Reducción del orden aleatorio de Spark cuando solo un lado de una combinación es KeyGroupedPartitioning
- [SPARK-44214] [SC-140528][CORE] Compatibilidad con la interfaz de usuario de registro activo del controlador de Spark
- [SPARK-44861] [SC-140716] [CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519][CONNECT] Adición de ProducedRowCount a SparkListenerConnectOperationFinished
- [SPARK-42017] [SC-140765][PYTHON][CONNECT]
df['col_name']debe validar el nombre de la columna - [SPARK-40178] [SC-140433][SQL][COONECT] Compatibilidad con sugerencias de fusión con facilidad para PySpark y R
- [SPARK-44840] [SC-140593][SQL] Hacer que
array_insert()sea de una base para índices negativos - [SPARK-44939] [SC-140778][R] Compatibilidad con Java 21 en SparkR SystemRequirements
- [SPARK-44936] [SC-140770][CORE] Simplificación del registro cuando Spark HybridStore alcanza el límite de memoria
- [SPARK-44908] [SC-140712][ML][CONNECT] Corrección de la funcionalidad de foldCol param de validador cruzada
- [SPARK-44816] [SC-140717][CONNECT] Mejora del mensaje de error cuando no se encuentra la clase UDF
- [SPARK-44909] [SC-140710][ML] Omisión del inicio del servidor de streaming de registro del distribuidor de Torch cuando no está disponible
- [SPARK-44920] [SC-140707][CORE] Use await() en lugar de awaitUninterruptibly() en TransportClientFactory.createClient()
- [SPARK-44905] [SC-140703][SQL] lastRegex con estado provoca NullPointerException en la eval para regexp_replace
- [SPARK-43987] [SC-139594][Shuffle] Separación del procesamiento finalizeShuffleMerge en grupos de subprocesos dedicados
- [SPARK-42768] [SC-140549][SQL] Habilitación del plan en caché para aplicar AQE de manera predeterminada
- [SPARK-44741] [SC-139447][CORE] Compatibilidad con MetricFilter basado en regex en
StatsdSink - [SPARK-44751] [SC-140532][SQL] Implementación de la interfaz FileFormat XML
- [SPARK-44868] [SC-140438][SQL] Conversión de datetime en cadena por
to_char/to_varchar - [SPARK-44748] [SC-140504][SQL] Ejecución de consultas para la cláusula PARTITION BY en argumentos UDTF TABLE
- [SPARK-44873] [SC-140427] Compatibilidad con alter view con columnas anidadas en el cliente de Hive
- [SPARK-44876] [SC-140431][PYTHON] Corrección de UDF de Python optimizada para Arrow en Spark Connect
- [SPARK-44520] [SC-137845][SQL] Reemplazo del término UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY por UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY y divulgación del AE raíz
- [SPARK-42664] [SC-139769][CONNECT] Compatibilidad con la función
bloomFilterparaDataFrameStatFunctions - [SPARK-43567] [SC-139227][PS] Compatibilidad de
use_na_sentinelparafactorize - [SPARK-44859] [SC-140254][SS] Corrección del nombre de propiedad incorrecto en el documento de streaming estructurado
- [SPARK-44822] [SC-140182][PYTHON][SQL] Hacer que los UDTF de Python sean no deterministas de manera predeterminada
- [SPARK-44731] [SC-139524][PYTHON][CONNECT] Hacer que TimestampNTZ funcione con literales en Python Spark Connect
- [SPARK-44836] [SC-140180][PYTHON] Refactorización de UDTF de Arrow Python
- [SPARK-44714] [SC-139238] Facilitación de la restricción de la resolución LCA con respecto a las consultas con having
- [SPARK-44749] [SC-139664][SQL][PYTHON] Compatibilidad con argumentos con nombre en UDTF de Python
- [SPARK-44737] [SC-139512][SQL][UI] No se deben mostrar los errores de formato JSON en la página SQL para non-SparkThrowables en la pestaña SQL
- [SPARK-44665] [SC-139307][PYTHON] Adición de compatibilidad con assertDataFrameEqual de Pandas DataFrame
- [SPARK-44736] [SC-139622][CONNECT] Adición de Dataset.explode al cliente de Scala de Spark Connect
- [SPARK-44732] [SC-139422][SQL] Compatibilidad integrada con orígenes de datos XML
- [SPARK-44694] [SC-139213][PYTHON][CONNECT] Refactorización de sesiones activas y exposición como una API
- [SPARK-44652] [SC-138881] Se produce un error cuando solo un df es Ninguno
- [SPARK-44562] [SC-138824][SQL] Adición de OptimizeOneRowRelationSubquery en lote de subconsulta
- [SPARK-44717] [SC-139319][PYTHON] [PS] Respetar timestampNTZ en el muestreo
- [SPARK-42849] [SC-139365] [SQL] Variables de sesión
- [SPARK-44236] [SC-139239][SQL] Deshabilitación de WholeStageCodegen cuando se establece
spark.sql.codegen.factoryModeen NO_CODEGEN - [SPARK-44695] [SC-139316][SQL] Mejora del mensaje de error para
DataFrame.toDF - [SPARK-44680] [SC-139234][SQL] Mejora del error de los parámetros en
DEFAULT - [SPARK-43402] [SC-138321][SQL] FileSourceScanExec admite la delegación de filtro de datos con una subconsulta escalar
- [SPARK-44641] [SC-139216][SQL] Resultado incorrecto en determinados escenarios cuando no se desencadena SPJ
- [SPARK-44689] [SC-139219][CONNECT] Hacer que el control de excepciones de la función
SparkConnectPlanner#unpackScalarScalaUDFsea más universal - [SPARK-41636] [SC-139061][SQL] Asegurarse de que
selectFiltersdevuelve predicados en orden determinista - [SPARK-44132] [SC-139197][SQL] Materialización de
Streamde nombres de columna de combinación para evitar errores de codegen - [SPARK-42330] [SC-138838][SQL] Asignación del nombre
RULE_ID_NOT_FOUNDa la clase de error_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214][SS] El nivel de registro no se pasa correctamente al proveedor del almacén de estado de RocksDB
- [SPARK-44658] [SC-138868][CORE]
ShuffleStatus.getMapStatusdebe devolverNoneen lugar deSome(null) - [SPARK-44603] [SC-138353] Incorporación de pyspark.testing a setup.py
- [SPARK-44252] [SC-137505][SS] Definición de una nueva clase de error y aplicación al caso en el que se produce un error en el estado de carga desde DFS
- [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] Se produce un error cuando UDF no es deserializable.
- [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] Reintentar ExecutePlan en caso de que la solicitud inicial no llegue al servidor
- [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Quitar de la dependencia de Connect Client Catalyst
- [SPARK-44059] [SC-138833][SQL] Adición de mejores mensajes de error para argumento con nombre de SQL
- [SPARK-44620] [SC-138831][SQL][PS][CONNECT] Hacer que
ResolvePivotconservePlan_ID_TAG - [SPARK-43838] [SC-137413][SQL] Corrección de la subconsulta en una sola tabla con la cláusula having que no se puede optimizar
- [SPARK-44555] [SC-138820][SQL] Usar checkError() para comprobar la excepción en el comando Suite y asignar algunos nombres de clase de error
- [SPARK-44280] [SC-138821] [SQL] Adición de convertJavaTimestampToTimestamp en la API JDBCDialect
- [SPARK-44602] [SC-138337][SQL][CONNECT][PS] Hacer que
WidenSetOperationTypesconservePlan_ID_TAG - [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
- [SPARK-43838] Revertir "[SC-137413][SQL] Corrección de subconsulta en una sola ta…
- [SPARK-44538] [SC-138178][CONNECT][SQL] Restablecer Row.jsonValue y amigos
- [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Nueva ejecución acoplable en Spark Connect
- [SPARK-43838] [SC-137413][SQL] Corrección de la subconsulta en una sola tabla con la cláusula having que no se puede optimizar
- [SPARK-44587] [SC-138315][SQL][CONNECT] Aumento del límite de recursividad del serializador protobuf
- [SPARK-44605] [SC-138338][CORE] Refinar la API ShuffleWriteProcessor interna
- [SPARK-44394] [SC-138291][CONNECT][WEBUI] Adición de una página de interfaz de usuario de Spark para Spark Connect
- [SPARK-44585] [SC-138286][MLLIB] Corrección de la condición de advertencia en MLLib RankingMetrics ndcgAk
- [SPARK-44198] [SC-138137][CORE] Compatibilidad con la propagación del nivel de registro a los ejecutores
- [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType admite la reserva
- [SPARK-44425] [SC-138135][CONNECT] Validar que el identificador de sesión proporcionado por el usuario es un UUID
- [SPARK-43611] [SC-138051][SQL][PS][CONNCECT] Hacer que
ExtractWindowExpressionsconservePLAN_ID_TAG - [SPARK-44560] [SC-138117][PYTHON][CONNECT] Mejora de pruebas y documentación para la UDF de Arrow Python
- [SPARK-44482] [SC-138067][CONNECT] El servidor de conexión debe especificar la dirección de enlace
- [SPARK-44528] [SC-138047][CONNECT] Compatibilidad con el uso adecuado de hasattr() para el dataframe de Connect
- [SPARK-44525] [SC-138043] [SQL] Mejora del mensaje de error cuando no se encuentra el método de invocación
- [SPARK-44355] [SC-137878][SQL] Traslado de WithCTE a las consultas de comandos
Compatibilidad con el controlador ODBC/JDBC de Databricks
Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).
Entorno del sistema
- Sistema operativo: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.0.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | criptografía | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0,11 | entrypoints | 0,4 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | Biblioteca en tiempo de ejecución de GCC | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | notebook | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | empaquetado | 22,0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| Python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | six (seis) | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| unattended-upgrades | 0,1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit el 2023-02-10.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| arrow | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1,0 - 8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | clase | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | en conflicto | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | conjuntos de datos | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | diagrama | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0,21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| elementos gráficos | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0,10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1,43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matriz | 1.5-4.1 | memoise | 2.0.1 |
| métodos | 4.3.1 | mgcv | 1.8-42 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progreso | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2,23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.45 | tools | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.3.0 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
| org.glassfish.jersey.core | jersey-client | 2,40 |
| org.glassfish.jersey.core | jersey-common | 2,40 |
| org.glassfish.jersey.core | jersey-server | 2,40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |