Compartir vía

Databricks Runtime 13.3 LTS

  • Artículo

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 13.3 LTS, con tecnología de Apache Spark 3.4.1.

Databricks publicó estas imágenes en agosto de 2023.

Nuevas características y mejoras

compatibilidad de Scala con clústeres compartidos

Los clústeres compartidos habilitados para El catálogo de Unity son ahora compatibles con Scala si se usa Databricks Runtime 13.3 y versiones posteriores.

La lista de permitidos para scripts de inicialización, JAR y coordenadas de Maven en clústeres compartidos de Unity Catalog se encuentra en versión preliminar pública

Ahora se puede utilizar el catálogo allowlist de Unity para controlar la instalación de scripts de inicialización, JAR y coordenadas de Maven en proceso con el modo de acceso compartido que ejecuta Databricks Runtime 13.3 y versiones posteriores. Consulte Agregar a la lista de permitidos bibliotecas y scripts de inicialización en proceso compartido.

La compatibilidad de volúmenes con scripts de inicialización y JAR está en versión preliminar pública

Ahora se pueden utilizar volúmenes de catálogo de Unity para almacenar scripts de inicialización y JAR en proceso con modos de acceso compartido o asignados que ejecutan Databricks Runtime 13.3 y versiones posteriores. Consulte ¿Dónde se pueden instalar los scripts de inicialización? y Bibliotecas con ámbito de clúster.

Conversiones seguras habilitadas de forma predeterminada para las operaciones de Delta Lake

Las operaciones de Delta UPDATE y MERGE ahora producen un error cuando los valores no se pueden convertir de forma segura al tipo en el esquema de la tabla de destino. Todas las conversiones implícitas de Delta ahora siguen spark.sql.storeAssignmentPolicy en lugar de spark.sql.ansi.enabled. Consulte Cumplimiento de ANSI en Databricks Runtime.

Presentación de etiquetas con Unity Catalog

Con Databricks Runtime 13.3 LTS y versiones posteriores, puede aplicar etiquetas a los objetos protegibles. Las etiquetas le ayudan a organizar objetos protegibles y a simplificar la búsqueda y la detección de los recursos de datos. Consulte Aplicar etiquetas a objetos protegibles de Unity Catalog.

Databricks Runtime devuelve un error si se modifica un archivo entre el planeamiento y la invocación de consultas

Ahora, las consultas de Databricks Runtime devuelven un error si se actualiza un archivo entre el planeamiento y la invocación de consultas. Antes de este cambio, Databricks Runtime leía un archivo entre estas fases, lo que podía causar ocasionalmente resultados impredecibles.

Bloquear la sobrescritura del esquema al usar sobrescrituras de partición dinámica

No se puede pasar de overwriteSchema a true en combinación con las sobrescrituras de particiones dinámicas en Delta Lake. Así se evitan posibles daños en la tabla debido a errores de coincidencia de esquema. Consulte Sobrescrituras de particiones dinámicas.

Integración de copyFile API en dbutils.fs.cp

El comando de copia dbutils, dbutils.fs.cp, está ahora optimizado para una copia más rápida. Con esta mejora, las operaciones de copia pueden ser hasta 100 veces más rápidas, en función del tamaño del archivo. La característica está disponible en todos los sistemas de archivos accesibles en Azure Databricks, incluidos los volúmenes del catálogo de Unity y los montajes del sistema de archivos de Databricks.

Compatibilidad con el controlador ODBC/JDBC de Databricks

Azure Databricks admite controladores ODBC y JDBC publicados en los últimos 2 años. Descargue el controlador más reciente en Descargar controlador ODBC y Descargar controlador JDBC.

Compatibilidad con marcadores de parámetro sin nombre (posicionales)

La API SparkSession.sql() admite ahora consultas parametrizadas mediante la sintaxis ?, además de las parametrizadas mediante la sintaxis :parm. Consulte los marcadores de parámetros.

Habilitación del etiquetado de columnas de serie temporal

Ahora puede etiquetar columnas de serie temporal al crear restricciones de clave principal.

Nuevas funciones de mapa de bits de SQL

Azure Databricks ofrece ahora un conjunto de funciones que se pueden utilizar para asignar valores numéricos enteros a un mapa de bits y agregarlos. Esta función puede usarse para ejecutar un cálculo previo del número de valores distintos.

Funciones de cifrado mejoradas

Se han mejorado las funciones aes_encrypt, aes_decrypt y try_aes_decrypt con compatibilidad con vectores de inicialización (IV) y datos adicionales autenticados (AAD).

Compatibilidad del catálogo de Unity con REFRESH FOREIGN

Ahora puede actualizar catálogos, esquemas y tablas externos en el catálogo de Unity mediante REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA y REFRESH FOREIGN TABLE. Consulte REFRESH FOREIGN (CATÁLOGO, ESQUEMA y TABLA).

INSERTAR POR NOMBRE

Al insertar filas en una tabla, ahora puede dejar que Azure Databricks asigne columnas y campos en la consulta de origen a las columnas de la tabla por su nombre, de manera automática. Consulte INSERT INTO.

Uso compartido de vistas materializadas con Delta Sharing

La instrucción ALTER SHARE ahora admite vistas materializadas.

Cambios importantes

Cambios en la conversión implícita al almacenar filas en una tabla con MERGE INTO y UPDATE

Azure Databricks ahora sigue la configuración spark.sql.storeAssignmentPolicy para la conversión implícita al almacenar filas en una tabla. El valor predeterminado ANSI produce un error al almacenar valores que desbordan. Anteriormente, los valores se almacenarían como NULL de forma predeterminada.

Como en el ejemplo siguiente, puede solucionar los desbordamientos reescribiendo la tabla para usar un tipo más amplio para la columna que provoca el error.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Cambios de inferencia de esquema Parquet

Al deducir esquemas de archivos Parquet no escritos por Spark, las columnas de marca de tiempo int64 anotadas con isAdjustedToUTC=false ahora serán de tipo TIMESTAMP_NTZ por defecto. Anteriormente, estos se inferían como tipo TIMESTAMP. Esta actualización mejora la precisión de la asignación de tipos Parquet a tipos de Spark SQL.

Como resultado, la lectura de datos de archivos de Parquet externos en una tabla Delta puede provocar un error si la característica timestampNtz no está habilitada. El error se mostrará de la siguiente manera:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Para mantener el comportamiento anterior y evitar este error, puede establecer el parámetro de configuración de Spark spark.sql.parquet.inferTimestampNTZ.enabled en false.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • debugpy de 1.5.1 a 1.6.0
    • distlib de 0.3.6 a 0.3.7
    • fastjsonschema de 2.16.3 a 2.18.0
    • filelock de 3.12.0 a 3.12.2
  • Bibliotecas de R actualizadas:
    • SparkR de 3.4.0 a 3.4.1
  • Bibliotecas de Java actualizadas:
    • org.apache.orc.orc-core de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
    • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.xerial.snappy.snappy-java de 1.1.8.4 a 1.1.10.1

Apache Spark

Databricks Runtime 13.3 incluye Apache Spark 3.4.1. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 13.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • Ahora se puede establecer la variable de entorno de clúster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar el conector Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Revertir “[SC-133100][SQL] Corrección de problemas de conversión de tipos de datos Avro...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Descargar proveedor, lo que fuerza el cierre de la instancia de base de datos y la liberación de recursos en caso de error de tarea de mantenimiento
  • [SPARK-44059] [SC-137023] Se ha agregado compatibilidad con analizadores de argumentos con nombre para funciones integradas.
  • [SPARK-44485] [SC-137653][SQL] Optimizar TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][SS][PYTHON] Streaming foreachBatch en Python
  • [SPARK-44446] [SC-136994][PYTHON] Agregar comprobaciones para casos especiales de tipo de lista esperados
  • [SPARK-44439] [SC-136973][CONNECT][SS]ListListeners fijos para enviar identificadores de vuelta al cliente
  • [SPARK-44216] [SC-136941] [PYTHON] Hacer pública la API assertSchemaEqual
  • [SPARK-44201] [SC-136778][CONNECT][SS]Agregar compatibilidad con el agente de escucha de streaming en Scala para Spark Connect
  • [SPARK-43915] [SC-134766][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Revertir “[SC-133990][SQL][PYTHON] Compatibilidad con funciones de tabla definidas por el usuario de Python”
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169][CORE][CONNECT] Corrección del rellenado de artefactos para un JobArtifactState sin artefactos asociados
  • [SPARK-44269] [SC-135817][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][SQL] Actualizar argumentos de TVF para requerir paréntesis alrededor del identificador después de la palabra clave TABLE
  • [SPARK-43915] [SC-134766][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Se ha agregado compatibilidad con UDFRegistration al cliente de Connect Scala.
  • [SPARK-44109] [SC-134755][CORE] Quitar ubicaciones preferidas duplicadas de cada partición RDD
  • [SPARK-44169] [SC-135497][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][SQL] Asignar nombre a LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977][CORE][UI] Columna de soporte técnico Heap Histogram en Executors la pestaña
  • [SPARK-44044] [SC-135695][SS] Mejorar el mensaje de error para las funciones de ventana con streaming
  • [SPARK-43914] [SC-135414][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON] Permitir la precisión personalizada para fp aprox igualdad
  • [SPARK-44370] [SC-136575][CONNECT] Migrar Buf de generación remota alfa a complementos remotos
  • [SPARK-44410][SC-136930][PYTHON][CONNECT] Establecer sesión activa en crear, no solo getOrCreate
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Rehabilitar test_artifact con cambios los pertinentes
  • [SPARK-44145] [SC-136698][SQL] Devolución de llamada cuando esté lista para su ejecución
  • [SPARK-44264] [SC-136870][PYTHON][ML] Clase FunctionPickler
  • [SPARK-43986] [SC-135623][SQL] Crear clases de error para errores de llamada de función de HyperLogLog
  • [SPARK-44139] [SC-134967][SQL] Descartar filtros completamente insertados en operaciones MERGE basadas en grupos
  • [SPARK-44338] [SC-136718][SQL] Corrección del mensaje de error de coincidencia de esquema de vista
  • [SPARK-44208] [SC-135505][CORE][SQL] Asignar nombres de clase de error claros para alguna lógica que use directamente excepciones
  • [SPARK-44364] [SC-136773] [PYTHON] Se ha agregado compatibilidad con el tipo de datos List[Row] para el esperado.
  • [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils debe aplicar ResolveTimeZone
  • [SPARK-43389] [SC-136772][SQL] Se ha agregado una comprobación nula para la opción lineSep
  • [SPARK-44388] [SC-136695][CONNECT] Corrección del problema de conversión de protobuf cuando se actualiza la instancia de UDF
  • [SPARK-44352] [SC-136373][CONNECT] Vuelva a poner sameType y amigos en DataType.
  • [SPARK-43975] [SC-134265][SQL] DataSource V2: Control de comandos UPDATE para orígenes basados en grupos
  • [SPARK-44360] [SC-136461][SQL] Compatibilidad con la eliminación de esquemas en operaciones MERGE basadas en delta
  • [SPARK-44138] [SC-134907][SQL] Prohibir expresiones no deterministas, subconsultas y agregados en condiciones MERGE
  • [SPARK-43321] [SC-136678][Connect][Followup] Mejores nombres para las API usadas en el Cliente de Scala joinWith
  • [SPARK-44263] [SC-136447][CONNECT] Compatibilidad con interceptores personalizados
  • [SPARK-39851] [SC-123383][SQL] Mejora de la estimación de estadísticas de combinación si un lado puede mantener la unicidad
  • [SPARK-44390] [SC-136677][CORE][SQL] Cambiar el nombre SparkSerDerseUtils a SparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL] Asignar nombre y mejorar mensaje de error para errores frecuentes de LEGACY.
  • [SPARK-44322] [SC-136204][CONNECT] Hacer que el analizador use SqlApiConf en lugar de SQLConf.
  • [SPARK-44271] [SC-136347][SQL] Traslado de funciones de valores predeterminados de StructType a ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][CORE][WEBUI] Corrección del error de ordenación de la columna de identificador de ejecutor en la página de interfaz de usuario ejecutores
  • [SPARK-44282] [SC-135948][CONNECT] Preparación del análisis de DataType para su uso en el Cliente de Scala de Spark Connect
  • [SPARK-44349] [SC-136581][R] Incorporación de funciones matemáticas a SparkR
  • [SPARK-44397] [SC-136647][PYTHON] Exponer assertDataFrameEqual en pyspark.testing.utils
  • [SPARK-42981] [SC-136620][CONNECT] Agregar serialización de flecha directa
  • [SPARK-44373] [SC-136577][SQL] Ajuste con Active para API de conjunto de datos con lógica de análisis para que la configuración relacionada con el analizador funcione
  • [SPARK-44340] [SC-136574][SQL] Definir la lógica informática a través de PartitionEvaluator API y usarla en WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][CONNECT][PS] Habilitar PandasSQLStringFormatter.vformat para que funcione con Spark Connect
  • [SPARK-44325] [SC-136572][SQL] Usar PartitionEvaluator API en SortMergeJoinExec
  • [SPARK-44315] [SC-136171][SQL][CONNECT] Mover DefinedByConstructorParams a sql/api
  • [SPARK-44275] [SC-136184][CONNECT] Incorporación de un mecanismo de reintento configurable a Scala Spark Connect
  • [SPARK-44326] [SC-136208][SQL][CONNECT] Mover las utilidades que se usan desde el cliente de Scala a los módulos comunes
  • [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
  • [SPARK-44343] [SC-136372][CONNECT] Preparación de ScalaReflection para el traslado a SQL/API
  • [SPARK-44313] [SC-136081][SQL] Corrección de la validación de expresiones de columna generada cuando hay una columna char/varchar en el esquema
  • [SPARK-43963] [SC-134145][SQL] DataSource V2: Control de comandos MERGE para orígenes basados en grupos
  • [SPARK-44363] [SC-136433] [PYTHON] Mostrar porcentaje de filas desiguales en comparación DataFrame
  • [SPARK-44251] [SC-136432][SQL] Establecimiento correcto de valores NULL en la clave de combinación combinado en combinación externa completa USING
  • [SPARK-43948] [SC-133366][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][CONNECT][PYTHON] Agregar hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt a Scala y Python
  • [SPARK-44351] [SC-136353][SQL] Hacer alguna simplificación sintáctica
  • [SPARK-44281] [SC-135963][SQL] Error de compilación de consultas de movimiento que usa DataType para sql/api como DataTypeErrors
  • [SPARK-44283] [SC-136109][CONNECT] Mover el origen a SQL/API
  • [SPARK-43926] [SC-135590][CONNECT][PYTHON] Agregar array_agg, array_size, cardinalidad, count_min_sketch,mask,named_struct,json_* a Scala y Python
  • [SPARK-44327] [SC-136187][SQL][CONNECT] Agregar funciones any y len a Scala
  • [SPARK-44290] [SC-136300][CONNECT] Archivos y archivos basados en sesión en Spark Connect
  • [SPARK-44061] [SC-136299][PYTHON] Agregar función de utilidad assertDataFrameEqual
  • [SPARK-44331] [SC-136324][CONNECT][PYTHON] Adición de funciones de mapa de bits a Scala y Python
  • [SPARK-44342] [SC-136334][SQL] Reemplazar SQLContext por SparkSession para GenTPCDSData
  • [SPARK-42583] [SC-124190][SQL] Quitar la combinación externa si son todas funciones de agregado distintas
  • [SPARK-44333] [SC-136206][CONNECT][SQL] Mover EnhancedLogicalPlan fuera de ParserUtils
  • [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][CONNECT][PYTHON] Agregar funciones try_* a Scala y Python
  • [SPARK-44193] [SC-135886][CONNECT] Implementación de la interceptación de excepciones GRPC para la conversión
  • [SPARK-44284] [SC-136107][CONNECT] Creación de un sistema de conf simple para sql/api
  • [SPARK-43913] [SC-133368][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Revertir “[SC-135924][SPARK-43416][CONNECT] Corregir el esquema incorrecto para la consulta de intervalo”
  • [SPARK-44312] [SC-136185][CONNECT][PYTHON] Permitir establecer un agente de usuario con una variable de entorno
  • [SPARK-44154] [SC-136060] Implementar funciones de mapa de bits
  • [SPARK-43885] [SC-133996][SQL] DataSource V2: Control de comandos MERGE para orígenes basados en delta
  • [SPARK-43924] [SC-135161][CONNECT][PYTHON] Incorporación de funciones incorrectas a Scala y Python
  • [SPARK-43969] [SC-134556][SQL] Refactorizar y asignar nombres a la clase de error _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][SQL] Corregir la ruta de acceso incoherente que se califica entre las operaciones de catálogo y de datos.
  • [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Agregar funciones de fecha y hora a Scala, Python y Connect, parte 2
  • [SPARK-43942] [SC-134527][CONNECT][PYTHON] Agregar funciones de cadena a Scala y Python, parte 1
  • [SPARK-44266] [SC-135813][SQL] Mover Util.truncatedString a sql/api
  • [SPARK-44195] [SC-135722][R] Agregar API jobTag a SparkR SparkContext
  • [SPARK-44200] [SC-135736][SQL] Se admite la regla del analizador de argumentos TABLE para TableValuedFunction
  • [SPARK-44254] [SC-135709][SQL] Mover QueryExecutionErrors que usa DataType a sql/api como DataTypeErrors
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Corrección del esquema incorrecto para la consulta de intervalo
  • [SPARK-43922] [SC-135612][SQL] Agregar compatibilidad con parámetros con nombre en el analizador para llamadas a funciones
  • [SPARK-44300] [SC-135882][CONNECT] Corrección de la limpieza de artefactos para limitar el ámbito de eliminación a artefactos específicos de la sesión
  • [SPARK-44293] [SC-135849][CONNECT] Corrección de un URI no válido para JAR personalizados en Spark Connect
  • [SPARK-44215] [SC-135850][SHUFFLE] Si los fragmentos numéricos son 0, el servidor debe iniciar una excepción RuntimeException.
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests deben ser solo ilustrativos
  • [SPARK-44274] [SC-135814][CONNECT] Trasladar las funciones util que usa ArtifactManager a common/utils
  • [SPARK-44194] [SC-135815][PYTHON][CORE] Agregar API jobTag a PySpark SparkContext
  • [SPARK-42828] [SC-135733][PYTHON][SQL] Anotaciones de tipo Python más explícitas para GroupedData
  • [SPARK-44079] [SC-135486][SQL] Corrección ArrayIndexOutOfBoundsException al analizar la matriz como estructura mediante el modo PERMISSIVE con un registro dañado
  • [SPARK-44255] [SC-135809][SQL] Reubicar StorageLevel en common/utils
  • [SPARK-42169] [SC-135795][SQL] Incorporar la generación de código a la función to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Refactorizar PythonUDTFRunner para enviar su tipo de valor devuelto por separado
  • [SPARK-43353] [SC-132734][PYTHON] Migrar los errores de sesión restantes a la clase de error
  • [SPARK-44211] [SC-135718][PYTHON][CONNECT] Implementar SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] debe seguir creando subDir cuando el número de subDir en el dir. de mezcla es menor que conf.
  • [SPARK-41599] [SC-135616] Pérdida de memoria en FileSystem.CACHE al enviar aplicaciones para proteger el clúster mediante InProcessLauncher
  • [SPARK-44241] [SC-135613][Core] Establecer erróneamente io.connectionTimeout/connectionCreationTimeout en cero o negativo provocará cons/destruccións incessant al ejecutor
  • [SPARK-44133] [SC-134795][13.X][PYTHON] Actualizar MyPy de 0.920 a 0.982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener: Evento Serde en formato JSON
  • [SPARK-44188] [SC-135173][CORE] Quitar método inútil resetAllPartitions en ActiveJob
  • [SPARK-43757] [SC-135418][CONNECT] Cambiar la compatibilidad de cliente de la lista de permitidos a la lista de denegación
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Incorporación de un acceso de conexión de Spark a Dataframes en tiempo de ejecución por identificador.
  • [SPARK-44183] [SC-135209][PYTHON] Aumentar PyArrow la versión mínima en 4.0.0
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka] Agregar ubicación preferida en el origen de kafka v2
  • [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Agregar funciones de fecha y hora a la API de Scala, Python y Connect, parte 1
  • [SPARK-44161] [SC-135326][Connect] Controlar la entrada de fila para UDF
  • [SPARK-44227] [SC-135520][SQL] Extraer SchemaUtils de StructField
  • [SPARK-44064] [SC-135116][CORE][SQL] Agregar una nueva apply función a NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2279-2282] y eliminar algunas clases de error no utilizadas
  • [SPARK-44056] [SC-134758][SQL] Incluir el nombre de UDF en el mensaje de error de ejecución de UDF cuando esté disponible
  • [SPARK-44205] [SC-135422][SQL] Extraer código Catalyst de DecimalType
  • [SPARK-44220] [SC-135484][SQL] Mover StringConcat a sql/api
  • [SPARK-44146] [SC-135230][CONNECT] Aislar archivos jar y classfiles de sesión de Spark Connect
  • [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr ámbito Session.active
  • [SPARK-40850] [SC-135417][SQL] Corregir consultas interpretadas de casos de prueba pueden ejecutar Codegen.
  • [SPARK-44204] [SC-135253][SQL][HIVE] Agregar recordHiveCall que falta para getPartitionNames
  • [SPARK-44237] [SC-135485][CORE] Simplificación de la lógica de búsqueda del constructor DirectByteBuffer
  • [SPARK-44189] [SC-135170][CONNECT][PYTHON] Compatibilidad con parámetros posicionales por sql()
  • [SPARK-44140] [SC-134893][SQL][PYTHON] Compatibilidad con parámetros posicionales en Python sql()
  • [SPARK-44164] [SC-135158][SQL] Extraer método toAttribute de StructField a la clase Util
  • [SPARK-44178] [SC-135113][CONNECT] Admite parámetros posicionales en sql()
  • [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader debe cerrar la clase InputStream de barrera después de leer
  • [SPARK-43063] [SC-128382][SQL] df.show el identificador null debe imprimir NULL en lugar de null
  • [SPARK-42539] [SC-124464][SQL][HIVE] Eliminación de un cargador de clases independiente al usar la versión de Hive "builtin" para el cliente de metadatos
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Agregar un patrón opcional para Catalog.listFunctions
  • [SPARK-44066] [SC-134878][SQL] Compatibilidad con parámetros posicionales en Scala/Java sql()
  • [SPARK-44078] [SC-134869][CONNECT][CORE] Se ha agregado compatibilidad con el aislamiento de recursos o el cargador de clases.
  • [SPARK-43470] [SC-135187][CORE] Agregar sistema operativo, Java, información de versión de Python al registro de aplicaciones
  • [SPARK-43136] [SC-135238][CONNECT][Followup] Adición de pruebas para KeyAs
  • [SPARK-39740] [SC-135093][UI]: Actualizar vis timeline a 7.7.2 para corregir CVE-2020-28487
  • [SPARK-42298] [SC-133952][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Agregar un patrón opcional para Catalog.listTables
  • [SPARK-44026] [SC-135181] Permitir proporcionar valor inicial para SQLMetrics
  • [SPARK-44202] [SC-135244][CORE] Agregar API JobTag a JavaSparkContext
  • [SPARK-44030] [SC-135237][SQL] Implementar DataTypeExpression para ofrecer Unapply para la expresión
  • [SPARK-43876] Revertir "[SC-134603][SQL] Habilitar mapa hash rápido para consultas distintas"
  • [SPARK-40082] [SC-126437] Programar mergeFinalize al reintentar shuffleMapStage de combinación de inserción, pero sin tareas en ejecución
  • [SPARK-43888] [SC-132893][CORE] Reubicación del registro en common/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Agregar SessionHolder a SparkConnectPlanner
  • [SPARK-43944] [SC-134490][CONNECT][PYTHON] Adición de funciones de cadena a Scala y Python, parte 2
  • [SPARK-44134] [SC-134954][CORE] Corrección de la configuración de recursos (GPU/FPGA) en 0 cuando se establecen en spark-defaults.conf
  • [SPARK-44142] [SC-134947][PYTHON] Reemplace el tipo por tpe en la utilidad para convertir los tipos de Python en tipos de spark.
  • [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Agregar API de SparkContext para la cancelación de consultas por etiqueta
  • [SPARK-44000] [SC-133634][SQL] Agregar sugerencia para deshabilitar la difusión y la replicación de un lado de la combinación
  • [SPARK-43937] [SC-134362][CONNECT][PYTHON] Agregar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala y Python
  • [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Agregar EWM a SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][SQL] Corregir estadísticas de proceso cuando el nodo AggregateExec encima de QueryStageExec
  • [SPARK-43485] [SC-131264][SQL] Corrección del mensaje de error para el unit argumento de las funciones add/diff datetime
  • [SPARK-43794] [SC-132561][SQL] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][CONNECT][SS]Implementó las API MapGroupsWithState y FlatMapGroupsWithState para Spark Connect
  • [SPARK-43529] [SQL] Compatibilidad con expresiones CREATE/REPLACE TABLE OPTIONS + limpieza de código
  • [SPARK-44106] [SC-134750][PYTHON][CONNECT] Agregar __repr__ para GroupedData
  • [SPARK-42299] [SC-133190] Asignar nombre a _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][SQL] Agrega compatibilidad con aes_encrypt IVs y AAD
  • [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Agregar currentfunciones similares a Scala y Python
  • [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Agregar funciones regexp_* a Scala y Python
  • [SPARK-44107] [SC-134746][CONNECT][PYTHON] Ocultar métodos de columna no admitidos a partir de la finalización automática
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener: Evento Serde en formato JSON
  • [SPARK-43773] [SC-132659][CONNECT][PYTHON] Implementación de funciones "levenshtein(str1, str2[, threshold])" en el cliente de Python
  • [SPARK-44125] [SC-134745][R] Compatibilidad con Java 21 en SparkR
  • [SPARK-43919] [SC-133374][SQL] Extraer la funcionalidad JSON fuera de fila
  • [SPARK-43769] [SC-132520][CONNECT] Implemente funciones 'levenshtein(str1, str2[, threshold])'
  • [SPARK-44012] [SC-134662][SS] KafkaDataConsumer para imprimir algún estado de lectura
  • [SPARK-43876] [SC-134603][SQL] Habilitación del mapa hash rápido para consultas distintas
  • [SPARK-44024] [SC-134497][SQL] Cambio que se va a usar map cuando unzip solo se usa para extraer un único elemento
  • [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Agregar operaciones de bits a Scala, Python y Connect API
  • [SPARK-44092] [SC-134506][CORE] Agregar Utils.isJavaVersionAtLeast21 y hacer que core el módulo pase con Java 21
  • [SPARK-44018] [SC-134512][SQL] Mejorar el hashCode y toString para alguna expresión DS V2
  • [SPARK-44105] [SC-134582][SQL] LastNonNull debe resolverse diferiendo
  • [SPARK-44081] [SC-134434] Simplificación de la API PartitionedFileUtil un poco
  • [SPARK-43791] [SC-132531][SQL] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definir y usar rasgos de Nodo[Hoja|Unario]no resuelto.
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][SQL] Refactorización de la resolución de valores de columna predeterminada
  • [SPARK-43493] [SC-132063][SQL] Agregar un argumento de distancia máxima a la función levenshtein()
  • [SPARK-44075] [SC-134382][CONNECT] Hacer transformStatCorr lazy
  • [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Agregue algunos, bool_or,bool_and,cada a Scala, Python y Connect.
  • [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Agregar funciones make_* a Scala y Python
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][SQL] Mejorar el mensaje de error: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][CONNECT][PYTHON] Agregar funciones to_* a Scala y Python
  • [SPARK-44055] [SC-134321][CORE] Quitar funciones redundantes override de CheckpointRDD
  • [SPARK-43802] [SC-132597][SQL] Corrección de codegen para unhex y unbase64 con failOnError=true
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Compatibilidad con funciones de tabla definidas por el usuario de Python
  • [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Agregar any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reducir a Scala, Python y Connect API
  • [SPARK-43380] [SC-133100][SQL] Corrección de problemas de conversión de tipos de datos Avro para evitar generar resultados incorrectos
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Mejorar awaitTermination() para controlar las desconexiones del cliente
  • [SPARK-43179] [ SC-129070][SHUFFLE] Permite a las aplicaciones controlar si sus metadatos se guardan en la base de datos mediante el servicio aleatorio externo

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 criptografía 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
entrypoints 0,4 executing 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 empaquetado 21,3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 Python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six (seis) 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan con la instantánea de Microsoft CRAN desde el 02-10-2023.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 clase 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 conjuntos de datos 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0,20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 elementos gráficos 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progreso 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0,44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1