Comparteix via

Databricks Runtime 13.3 LTS

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 13.3 LTS, con tecnología de Apache Spark 3.4.1.

Databricks publicó esta versión en agosto de 2023.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Nuevas características y mejoras

compatibilidad de Scala con clústeres compartidos

Los clústeres compartidos habilitados para El catálogo de Unity son ahora compatibles con Scala si se usa Databricks Runtime 13.3 y versiones posteriores.

La lista de permisos para scripts de inicialización, JAR y coordenadas de Maven en clústeres estándar de Unity Catalog (anteriormente clústeres compartidos) está en versión de prueba pública.

Ahora puede usar el catálogo de Unity allowlist para controlar la instalación de scripts de inicialización, JARs y coordenadas de Maven en procesos de cálculo con el modo de acceso estándar, ejecutando Databricks Runtime 13.3 y versiones posteriores. Consulte Lista de permitidos de bibliotecas y scripts de inicialización en procesos con el modo de acceso estándar (anteriormente modo de acceso compartido).

La compatibilidad de volúmenes con scripts de inicialización y JAR está en versión preliminar pública

Ahora puede usar volúmenes de Catálogo de Unity para almacenar scripts de inicialización y los JAR en el entorno de ejecución con modos de acceso dedicados o estándar que ejecutan Databricks Runtime 13.3 y las versiones posteriores. Consulte ¿Dónde se pueden instalar los scripts de inicialización? y Bibliotecas con ámbito de proceso.

Conversiones seguras habilitadas de forma predeterminada para las operaciones de Delta Lake

Las operaciones de Delta UPDATE y MERGE ahora producen un error cuando los valores no se pueden convertir de forma segura al tipo en el esquema de la tabla de destino. Todas las conversiones implícitas de Delta ahora siguen spark.sql.storeAssignmentPolicy en lugar de spark.sql.ansi.enabled. Consulte Cumplimiento de ANSI en Databricks Runtime.

Presentación de etiquetas con Unity Catalog

Con Databricks Runtime 13.3 LTS y versiones posteriores, puede aplicar etiquetas a los objetos protegibles. Las etiquetas le ayudan a organizar objetos protegibles y a simplificar la búsqueda y la detección de los recursos de datos. Consulte Aplicar etiquetas a objetos protegibles de Unity Catalog.

Databricks Runtime devuelve un error si se modifica un archivo entre el planeamiento y la invocación de consultas

Ahora, las consultas de Databricks Runtime devuelven un error si se actualiza un archivo entre el planeamiento y la invocación de consultas. Antes de este cambio, Databricks Runtime leía un archivo entre estas fases, lo que podía causar ocasionalmente resultados impredecibles.

Bloquear la sobrescritura del esquema al usar sobrescrituras de partición dinámica

No se puede pasar de overwriteSchema a true en combinación con las sobrescrituras de particiones dinámicas en Delta Lake. Así se evitan posibles daños en la tabla debido a errores de coincidencia de esquema. Consulte Sobrescrituras de particiones dinámicas.

Integración de copyFile API en dbutils.fs.cp

El comando de copia dbutils, dbutils.fs.cp, está ahora optimizado para una copia más rápida. Con esta mejora, las operaciones de copia pueden ser hasta 100 veces más rápidas, en función del tamaño del archivo. La característica está disponible en todos los sistemas de archivos accesibles en Azure Databricks, incluidos los volúmenes de Unity Catalog y los montajes del Sistema de Archivos de Databricks.

Compatibilidad con el controlador ODBC/JDBC de Databricks

Azure Databricks admite controladores ODBC y JDBC publicados en los últimos 2 años. Descargue el controlador más reciente en Descargar controlador ODBC y Descargar controlador JDBC.

Compatibilidad con marcadores de parámetro sin nombre (posicionales)

La API SparkSession.sql() admite ahora consultas parametrizadas mediante la sintaxis ?, además de las parametrizadas mediante la sintaxis :parm. Consulte los marcadores de parámetros.

Habilitación del etiquetado de columnas de serie temporal

Ahora puede etiquetar columnas de serie temporal al crear restricciones de clave principal.

Nuevas funciones de mapa de bits de SQL

Azure Databricks ofrece ahora un conjunto de funciones que se pueden utilizar para asignar valores numéricos enteros a un mapa de bits y agregarlos. Esta función puede usarse para ejecutar un cálculo previo del número de valores distintos.

Funciones de cifrado mejoradas

Se han mejorado las funciones aes_encrypt, aes_decrypt y try_aes_decrypt con compatibilidad con vectores de inicialización (IV) y datos adicionales autenticados (AAD).

Compatibilidad del catálogo de Unity con REFRESH FOREIGN

Ahora puede actualizar catálogos, esquemas y tablas externos en el catálogo de Unity mediante REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA y REFRESH FOREIGN TABLE. Vea REFRESH FOREIGN (CATALOG, SCHEMAy TABLE).

INSERT POR NOMBRE

Al insertar filas en una tabla, ahora puede permitir que Azure Databricks asigne columnas y campos de la consulta de origen automáticamente a las columnas de la tabla por su nombre. Consulta INSERT INTO.

Uso compartido de vistas materializadas con Delta Sharing

La instrucción ALTER SHARE es ahora compatible con las vistas materializadas.

Cambios importantes

Cambios en la conversión implícita al almacenar filas en una tabla con MERGE INTO y UPDATE

Azure Databricks ahora sigue la configuración spark.sql.storeAssignmentPolicy para la conversión implícita al almacenar filas en una tabla. El valor predeterminado ANSI produce un error al almacenar valores que desbordan. Anteriormente, los valores se almacenarían como NULL de forma predeterminada.

Como en el ejemplo siguiente, puede solucionar los desbordamientos reescribiendo la tabla para usar un tipo más amplio para la columna que provoca el error.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Cambios de inferencia de esquema Parquet

Al deducir esquemas de archivos Parquet no escritos por Spark, las columnas de marca de tiempo int64 anotadas con isAdjustedToUTC=false ahora serán de tipo TIMESTAMP_NTZ por defecto. Anteriormente, estos se inferían como tipo TIMESTAMP. Esta actualización mejora la precisión de la asignación de tipos Parquet a tipos de Spark SQL.

Como resultado, la lectura de datos de archivos de Parquet externos en una tabla Delta puede provocar un error si la característica timestampNtz no está habilitada. El error se mostrará de la siguiente manera:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Para mantener el comportamiento anterior y evitar este error, puede establecer el parámetro de configuración de Spark spark.sql.parquet.inferTimestampNTZ.enabled en false.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • debugpy de 1.5.1 a 1.6.0
    • distlib de 0.3.6 a 0.3.7
    • fastjsonschema de 2.16.3 a 2.18.0
    • filelock de 3.12.0 a 3.12.2
  • Bibliotecas de R actualizadas:
    • SparkR de 3.4.0 a 3.4.1
  • Bibliotecas de Java actualizadas:
    • org.apache.orc.orc-core de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
    • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
    • org.xerial.snappy.snappy-java de 1.1.8.4 a 1.1.10.1

Apache Spark

Databricks Runtime 13.3 incluye Apache Spark 3.4.1. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 13.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • Ahora se puede establecer la variable de entorno de clúster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar el conector Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Revertir “[SC-133100][sql] Corrección del tipo de datos Avro…
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Descargar proveedor, lo que fuerza el cierre de la instancia de base de datos y la liberación de recursos en caso de error de tarea de mantenimiento
  • [SPARK-44059] [SC-137023] Se ha agregado compatibilidad con analizadores de argumentos con nombre para funciones integradas.
  • [SPARK-44485] [SC-137653][sql] Optimize TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][ss][PYTHON] Streaming ForeachBatch en Python
  • [SPARK-44446] [SC-136994][python] Agregar comprobaciones para casos especiales de tipo de lista esperados
  • [SPARK-44439] [SC-136973][connect][SS]Se corrigió listListeners para enviar solo identificadores al cliente
  • [SPARK-44216] [SC-136941] [PYTHON] Hacer pública la API assertSchemaEqual
  • [SPARK-44201] [SC-136778][connect][SS]Agregar compatibilidad con el agente de escucha de streaming en Scala para Spark Connect
  • [SPARK-43915] [SC-134766][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Revertir "[SC-133990][sql][PYTHON] Compatibilidad con funciones de tabla definidas por el usuario de Python"
  • [SPARK-44398] [SC-136720][connect] API de Scala foreachBatch
  • [SPARK-44476] [SC-137169][core][CONNECT] Corrección de la población de artefactos para un JobArtifactState sin ningún artefacto asociado
  • [SPARK-44269] [SC-135817][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [ SC-136744][sql] Actualizar argumentos de TVF para requerir paréntesis alrededor del identificador después TABLE de la palabra clave
  • [SPARK-43915] [SC-134766][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][spark-43996][CONNECT] Agregar compatibilidad con UDFRegistration al cliente de Connect Scala
  • [SPARK-44109] [SC-134755][core] Eliminar ubicaciones preferidas duplicadas de cada partición de RDD
  • [SPARK-44169] [SC-135497][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][connect] API de Scala foreachBatch
  • [SPARK-44153][SC-134977][core][UI] Soporte para la columna en la pestaña Heap Histogram
  • [SPARK-44044] [ SC-135695][ss] Mejorar el mensaje de error para las funciones de ventana con streaming
  • [SPARK-43914] [SC-135414][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][python] Permitir precisión personalizada para fp aprox igualdad
  • [SPARK-44370] [SC-136575][connect] Migrar Buf remote generation alpha a complementos remotos
  • [SPARK-44410] [SC-136930][python][CONNECT] Establecer sesión activa en create, no solo getOrCreate
  • [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Volver a activar test_artifact con cambios pertinentes
  • [SPARK-44145] [SC-136698][sql] Devolución de llamada cuando esté listo para ejecutarse
  • [SPARK-44264] [SC-136870][python][ML] FunctionPickler Clase
  • [SPARK-43986] [SC-135623][sql] Crear clases de error para errores de llamada de función HyperLogLog
  • [SPARK-44139] [ SC-134967][sql] Descartar completamente los filtros aplicados en operaciones MERGE agrupadas.
  • [SPARK-44338] [SC-136718][sql] Corrección del mensaje de error por desajuste de esquema de vista
  • [SPARK-44208] [ SC-135505][core][SQL] Asignar nombres de clase de error claros para alguna lógica que use directamente excepciones
  • [SPARK-44364] [SC-136773] [PYTHON] Se ha agregado compatibilidad con el tipo de datos List[Row] para el esperado.
  • [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils debe aplicar ResolveTimeZone
  • [SPARK-43389] [SC-136772][sql] Se ha agregado una comprobación nula para la opción lineSep.
  • [SPARK-44388] [SC-136695][connect] Solución del problema de conversión de protobuf al actualizar la instancia de UDF
  • [SPARK-44352] [SC-136373][connect] Restablecer sameType y relacionados en DataType.
  • [SPARK-43975] [ SC-134265][sql] DataSource V2: Gestionar UPDATE comandos para orígenes basados en grupos
  • [SPARK-44360] [SC-136461][sql] Compatibilidad con el recorte de esquemas en operaciones MERGE basadas en delta
  • [SPARK-44138] [SC-134907][sql] Prohibir expresiones no deterministas, subconsultas y agregados en condiciones MERGE
  • [SPARK-43321] [SC-136678][connect][Followup] Mejores nombres para las API utilizadas en el cliente Scala joinWith
  • [SPARK-44263] [SC-136447][connect] Compatibilidad con interceptores personalizados
  • [SPARK-39851] [SC-123383][sql] Mejorar la estimación de estadísticas de uniones si un lado puede mantener la unicidad
  • [SPARK-44390] [ SC-136677][core][SQL] Cambiar el nombre SparkSerDerseUtils a SparkSerDeUtils
  • [SPARK-44004] [SC-134751][sql] Asignar nombre y mejorar el mensaje de error para errores LEGACY frecuentes.
  • [SPARK-44322] [SC-136204][connect] Hacer que el analizador use SqlApiConf en lugar de SQLConf.
  • [SPARK-44271] [SC-136347][sql] Mover funciones de valores predeterminados de StructType a ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][core][WEBUI] Corrección del error de ordenación de la columna de identificador de ejecutor en la página de la interfaz de usuario de Ejecutores
  • [SPARK-44282] [SC-135948][connect] Preparar el análisis de DataType para su uso en el cliente Scala de Spark Connect
  • [SPARK-44349] [SC-136581][r] Agregar funciones matemáticas a SparkR
  • [SPARK-44397] [SC-136647][python] Exponer assertDataFrameEqual en pyspark.testing.utils
  • [SPARK-42981] [SC-136620][connect] Agregar serialización de flecha directa
  • [SPARK-44373] [SC-136577][sql] Envuelva con withActive para el API de Conjunto de Datos usando lógica de análisis para hacer que la configuración relacionada con el analizador funcione
  • [SPARK-44340] [ SC-136574][sql] Definir la lógica informática a través de partitionEvaluator API y usarla en WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][connect][PS] Habilitar PandasSQLStringFormatter.vformat para trabajar con Spark Connect
  • [SPARK-44325] [SC-136572][sql] Usar PartitionEvaluator API en SortMergeJoinExec
  • [SPARK-44315] [SC-136171][sql][CONNECT] Trasladar DefinedByConstructorParams hacia sql/api
  • [SPARK-44275] [SC-136184][connect] Adición del mecanismo de reintento configurable a Scala Spark Connect
  • [SPARK-44326] [SC-136208][sql][CONNECT] Mover las utilidades utilizadas desde el cliente de Scala a los módulos comunes
  • [SPARK-43321] [SC-136156][connect] Conjunto de Datos#Unircon
  • [SPARK-44343] [SC-136372][connect] Preparar ScalaReflection para la transición hacia SQL/API
  • [SPARK-44313] [SC-136081][sql] Corregir la validación de expresiones de columna generadas cuando hay una columna char/varchar en el esquema
  • [SPARK-43963] [SC-134145][sql] DataSource V2: Controlar comandos MERGE para orígenes basados en grupos
  • [SPARK-44363] [SC-136433] [PYTHON] Mostrar porcentaje de filas desiguales en comparación DataFrame
  • [SPARK-44251] [SC-136432][sql] Establecer correctamente anulable en la clave de combinación coalescida en la combinación externa completa USING
  • [SPARK-43948] [SC-133366][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][connect][PYTHON] Agregar hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt a Scala y Python
  • [SPARK-44351] [SC-136353][sql] Simplificación sintáctica
  • [SPARK-44281] [SC-135963][sql] Mover el error de Compilación de Consultas utilizado por DataType a sql/api como ErroresDeTipoDeDatos
  • [SPARK-44283] [SC-136109][connect] Mover Origen a SQL/API
  • [SPARK-43926] [SC-135590][connect][PYTHON] Agregar array_agg, array_size, cardinality, count_min_sketch, mask, named_struct, json* a Scala y Python
  • [SPARK-44327] [SC-136187][sql][CONNECT] Agregar funciones any y len a Scala
  • [SPARK-44290] [ SC-136300][connect] Archivos basados en sesión en Spark Connect
  • [SPARK-44061] [SC-136299][python] Agregar la función assertDataFrameEqual util
  • [SPARK-44331] [SC-136324][connect][PYTHON] Agregar funciones de mapa de bits a Scala y Python
  • [SPARK-44342] [SC-136334][sql] Reemplazar SQLContext por SparkSession para GenTPCDSData
  • [SPARK-42583] [SC-124190][sql] Eliminar la unión externa si todas son funciones agregadas distintas
  • [SPARK-44333] [SC-136206][connect][SQL] Mover EnhancedLogicalPlan fuera de ParserUtils
  • [SPARK-43824] [SC-132655][spark-43825] [SQL] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][connect][PYTHON] Agregar funciones try_* a Scala y Python
  • [SPARK-44193] [SC-135886][connect] Implementar la interceptación de excepciones GRPC para la conversión
  • [SPARK-44284] [SC-136107][connect] Creación de un sistema de conf simple para sql/api
  • [SPARK-43913] [SC-133368][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Revertir “[SC-135924][spark-43416][CONNECT] Corregir un esquema incorrecto en una consulta de rango”
  • [SPARK-44312] [SC-136185][connect][PYTHON] Permitir establecer un agente de usuario con una variable de entorno
  • [SPARK-44154] [SC-136060] Implementar funciones de mapa de bits
  • [SPARK-43885] [ SC-133996][sql] DataSource V2: Controlar comandos MERGE para orígenes basados en delta
  • [SPARK-43924] [SC-135161][connect][PYTHON] Agregar funciones diversas a Scala y Python
  • [SPARK-43969] [ SC-134556][sql] Refactorizar y asignar nombres a la clase de error _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][sql] Corregir la calificación incoherente de rutas entre las operaciones de catálogo y de datos
  • [SPARK-44073] [SC-134562][sql][PYTHON][connect] Agregar funciones de fecha y hora a Scala, Python y Connect, parte 2
  • [SPARK-43942] [SC-134527][connect][PYTHON] Agregar funciones de cadena a Scala y Python, parte 1
  • [SPARK-44266] [SC-135813][sql] Mover Util.truncatedString a sql/api
  • [SPARK-44195] [SC-135722][r] Agregar las APIs de JobTag a SparkR SparkContext
  • [SPARK-44200] [SC-135736][sql] Compatibilidad con la regla del analizador de argumentos para funciones con valor de tabla TABLE
  • [SPARK-44254] [SC-135709][sql] Mover QueryExecutionErrors que son utilizados por DataType a sql/api como DataTypeErrors
  • [SPARK-44291] [SC-135924][spark-43416][CONNECT] Corregir un esquema incorrecto para la consulta de intervalos
  • [SPARK-43922] [SC-135612][sql] Agregar compatibilidad con parámetros con nombre en el analizador para llamadas de función
  • [SPARK-44300] [SC-135882][connect] Corregir la limpieza de artefactos limitando el ámbito de eliminación a los artefactos específicos de la sesión
  • [SPARK-44293] [SC-135849][connect] Corrección de un URI no válido para jaR personalizados en Spark Connect
  • [SPARK-44215] [SC-135850][shuffle] Si los fragmentos numéricos son 0, el servidor debe producir una excepción RuntimeException.
  • [SPARK-44245] [SC-135851][python] doctests de pyspark.sql.dataframe sample() deben ser solo ilustrativos
  • [SPARK-44274] [SC-135814][connect] Mover las funciones de utilidad utilizadas por ArtifactManager a common/utils
  • [SPARK-44194] [SC-135815][python][CORE] Agregar APIs de JobTag a PySpark SparkContext
  • [SPARK-42828] [SC-135733][python][SQL] Anotaciones de tipo python más explícitas para GroupedData
  • [SPARK-44079] [SC-135486][sql] Corrección ArrayIndexOutOfBoundsException al analizar la matriz como estructura mediante el modo PERMISSIVE con registro dañado
  • [SPARK-44255] [SC-135809][sql] Reubicación de StorageLevel en common/utils
  • [SPARK-42169] [SC-135795][SQL] Incorporar la generación de código a la función to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Refactorizar PythonUDTFRunner para enviar su tipo de retorno por separado
  • [SPARK-43353] [SC-132734][python] Migre los errores de sesión restantes a la clase de error.
  • [SPARK-44211] [SC-135718][python][CONNECT] Implementar SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] debe seguir creando subDir cuando el número de subDir en el dir. de mezcla es menor que conf.
  • [SPARK-41599] [SC-135616] Pérdida de memoria en FileSystem.CACHE al enviar aplicaciones para proteger el clúster mediante InProcessLauncher
  • [SPARK-44241] [ SC-135613][core] Establecer erróneamente io.connectionTimeout/connectionCreationTimeout en cero o negativo provocará construcciones/destrucciones incesantes del ejecutor.
  • [SPARK-44133] [SC-134795][13.x][PYTHON] Actualizar MyPy de 0,920 a 0,982
  • [SPARK-42941] [ SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde en formato JSON
  • [SPARK-44188] [ SC-135173][core] Quitar método inútil resetAllPartitions en ActiveJob
  • [SPARK-43757] [SC-135418][connect] Cambiar la compatibilidad de cliente de la lista de permitidos a la lista de denegación
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Incorporación de un acceso de conexión de Spark a Dataframes en tiempo de ejecución por identificador.
  • [SPARK-44183] [SC-135209][python] Incrementar PyArrow la versión mínima a 4.0.0
  • [SPARK-44248] [ SC-135554][ss][SQL][kafka] Agregar ubicación preferida en el origen de kafka v2
  • [SPARK-43929] [SC-134510][sql][PYTHON][connect] Agregar funciones de fecha y hora a Scala, Python y Connect API: parte 1
  • [SPARK-44161] [SC-135326][connect] Controlar la entrada de fila para UDF
  • [SPARK-44227] [SC-135520][sql] Extraer SchemaUtils de StructField
  • [SPARK-44064] [SC-135116][core][SQL] Agregar una nueva apply función a NonFateSharingCache
  • [SPARK-44171] [SC-135269][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2279-2282] y eliminar algunas clases de error sin usar
  • [SPARK-44056] [SC-134758][sql] Incluir el nombre de UDF en el mensaje de error de ejecución de UDF cuando sea posible
  • [SPARK-44205] [SC-135422][sql] Extraer código Catalyst de DecimalType
  • [SPARK-44220] [SC-135484][sql] Mover StringConcat a sql/api
  • [SPARK-44146] [SC-135230][connect] Aislar archivos jar y archivos de clases de sesión de Spark Connect
  • [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][sql] Corregir que las consultas interpretadas de casos de prueba puedan ejecutar Codegen
  • [SPARK-44204] [SC-135253][sql][HIVE] Agregar la llamada de registro 'recordHiveCall' que falta para getPartitionNames
  • [SPARK-44237] [SC-135485][core] Simplificación de la lógica de búsqueda del constructor DirectByteBuffer
  • [SPARK-44189] [SC-135170][connect][PYTHON] Admite parámetros posicionales por sql()
  • [SPARK-44140] [SC-134893][sql][PYTHON] Compatibilidad con parámetros posicionales en Python sql()
  • [SPARK-44164] [SC-135158][sql] Extraer el método toAttribute de StructField a la clase Util
  • [SPARK-44178] [SC-135113][connect] Admitir parámetros posicionales en sql()
  • [SPARK-43208] [ SC-128955][sql][HIVE] IsolatedClassLoader debe cerrar la clase de barrera InputStream después de leer
  • [SPARK-43063] [ SC-128382][sql] df.show handle null debe imprimir NULL en lugar de null
  • [SPARK-42539] [SC-124464][sql][HIVE] Eliminar el cargador de clases independiente al usar la versión de Hive "builtin" para el cliente de metadatos
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Agregar patrón opcional para Catalog.listFunctions
  • [SPARK-44066] [SC-134878][sql] Admitir parámetros posicionales en Scala/Java sql()
  • [SPARK-44078] [SC-134869][connect][CORE] Agregar compatibilidad para el cargador de clases/aislamiento de recursos
  • [SPARK-43470] [ SC-135187][core] Agregar sistema operativo, Java, información de versión de Python al registro de aplicaciones
  • [SPARK-43136] [SC-135238][connect][Seguimiento] Añadiendo pruebas para KeyAs
  • [SPARK-39740] [SC-135093][ui]: Actualizar vis timeline a 7.7.2 para corregir CVE-2020-28487
  • [SPARK-42298] [SC-133952][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][sql][PYTHON][connect] Agregar patrón opcional para Catalog.listTables
  • [SPARK-44026] [SC-135181] Permitir proporcionar valor inicial para SQLMetrics
  • [SPARK-44202] [SC-135244][core] Agregar JobTag APIs a JavaSparkContext
  • [SPARK-44030] [SC-135237][sql] Implementar DataTypeExpression para ofrecer la función Unapply para expresiones
  • [SPARK-43876] Revert "[SC-134603][sql] Enable fast hashmap for distinct queries" (Revertir "[SC-134603][sql] Habilitar mapa hash rápido para consultas distintas"
  • [SPARK-40082] [SC-126437] Programar mergeFinalize al reintentar shuffleMapStage de combinación de inserción, pero sin tareas en ejecución
  • [SPARK-43888] [SC-132893][core] Mover el registro a common/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Agregar SessionHolder a SparkConnectPlanner
  • [SPARK-43944] [SC-134490][connect][PYTHON] Agregar funciones de cadena a Scala y Python, parte 2
  • [SPARK-44134] [SC-134954][core] Corregir la asignación de recursos (GPU/FPGA) a 0 cuando están establecidos en spark-defaults.conf
  • [SPARK-44142] [SC-134947][python] Reemplace el tipo por tpe en la utilidad para convertir tipos de Python en tipos spark
  • [SPARK-43952] [SC-134695][core][CONNECT][sql] Agregar API de SparkContext para la cancelación de consultas por etiqueta
  • [SPARK-44000] [SC-133634][sql] Agregar sugerencia para deshabilitar la difusión y la replicación de un lado de la unión
  • [SPARK-43937] [SC-134362][connect][PYTHON] Agregar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala y Python
  • [SPARK-43624] [13.x][sc-134557][PS][connect] Agregar EWM a SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][sql] Corregir el cálculo de estadísticas cuando el nodo AggregateExec está encima de QueryStageExec
  • [SPARK-43485] [SC-131264][sql] Corrección del mensaje de error para el unit argumento de las funciones datetime add/diff
  • [SPARK-43794] [SC-132561][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][connect][SS]Se han implementado las API MapGroupsWithState y FlatMapGroupsWithState para Spark Connect
  • [SPARK-43529] [SQL] Compatibilidad con expresiones CREATE/REPLACE TABLE OPTIONS + limpieza de código
  • [SPARK-44106] [SC-134750][python][CONNECT] Agregar __repr__ para GroupedData
  • [SPARK-42299] [SC-133190] Asignar nombre a _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [ SC-134388][sql] Agrega compatibilidad con aes_encrypt IVs y AAD
  • [SPARK-43932] [SC-134138][sql][PYTHON][connect] Agregar funciones similares a Scala y Python
  • [SPARK-43934] [SC-134108][sql][PYTHON][connect] Agregar funciones regexp_* a Scala y Python
  • [SPARK-44107] [SC-134746][connect][PYTHON] Ocultar métodos de la Columna no admitidos de la finalización automática
  • [SPARK-42941] [ SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde en formato JSON
  • [SPARK-43773] [ SC-132659][connect][PYTHON] Implementación de funciones "levenshtein(str1, str2[, threshold])" en el cliente de Python
  • [SPARK-44125] [SC-134745][r] Compatibilidad con Java 21 en SparkR
  • [SPARK-43919] [SC-133374][sql] Extraer la funcionalidad JSON del objeto Row
  • [SPARK-43769] [ SC-132520][connect] Implementar las funciones 'levenshtein(str1, str2[, threshold])'
  • [SPARK-44012] [SC-134662][ss] KafkaDataConsumer para imprimir cierto estado de lectura
  • [SPARK-43876] [SC-134603][sql] Habilitar la tabla hash rápida para consultas únicas
  • [SPARK-44024] [SC-134497][sql] Cambio para usar map cuando unzip solo se usa para extraer un único elemento
  • [SPARK-43928] [SC-134467][sql][PYTHON][connect] Agregar operaciones de bits a Scala, Python y Connect API
  • [SPARK-44092] [SC-134506][core] Agregar Utils.isJavaVersionAtLeast21 y hacer que core el módulo pase con Java 21
  • [SPARK-44018] [SC-134512][sql] Mejorar el código hash y toString para algunas expresiones de DS V2
  • [SPARK-44105] [SC-134582][sql] LastNonNull debe resolverse de forma perezosa
  • [SPARK-44081] [SC-134434] Simplificación de la API PartitionedFileUtil un poco
  • [SPARK-43791] [SC-132531][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definir y usar rasgos de Nodo[Hoja|Unario]no resuelto.
  • [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][sql] Refactorizar la resolución del valor predeterminado de columna
  • [SPARK-43493] [SC-132063][sql] Agregar un argumento de distancia máxima a la función levenshtein()
  • [SPARK-44075] [SC-134382][connect] Hacer transformStatCorr perezoso
  • [SPARK-43925] [SC-134381][sql][PYTHON][connect] Agregue algunos, bool_or,bool_and, cada uno a Scala, Python y Connect
  • [SPARK-43931] [SC-134158][sql][PYTHON][connect] Agregar funciones make_* a Scala y Python
  • [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][sql] Mejorar los mensajes de error: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, . CANNOT_RECOGNIZE_HIVE_TYPE
  • [SPARK-43938] [ SC-133887][connect][PYTHON] Agregar funciones to_* a Scala y Python
  • [SPARK-44055] [ SC-134321][core] Quitar funciones redundantes override de CheckpointRDD
  • [SPARK-43802] [SC-132597][sql] Corrección de codegen para unhex y unbase64 con failOnError=true
  • [SPARK-43798] [SC-133990][sql][PYTHON] Compatibilidad con funciones de tabla definidas por el usuario de Python
  • [SPARK-43941] [SC-134286][sql][PYTHON][connect] Agregar any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reducir a Scala, Python y Connect API
  • [SPARK-43380] [SC-133100][sql] Corregir problemas de conversión de tipos de datos avro para evitar generar resultados incorrectos
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Mejorar awaitTermination() para controlar las desconexiones del cliente
  • [SPARK-43179] [ SC-129070][shuffle] Permitir que las aplicaciones controlen si sus metadatos se guardan en la base de datos mediante el Servicio de Barajado Externo

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Consulte Actualizaciones de mantenimiento de Databricks Runtime 13.3.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.2 LTS
    • Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de DBR se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar otra versión de Ubuntu o distribución de Linux.
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
directorios de aplicaciones 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
"asttokens" 2.2.1 atributos 21.4.0 llamada de retorno 0.2.0
beautifulsoup4 4.11.1 negro 22.6.0 blanquear 4.1.0
intermitente 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.4 criptografía 37.0.1
ciclista 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorador 5.1.1
defusedxml 0.7.1 distlib 0.3.7 Conversión de docstring a markdown 0,12
puntos de entrada 0,4 Ejecutar 1.2.0 visión general de las facetas 1.0.3
fastjsonschema 2.18.0 bloqueo de archivos 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 llavero 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mal sintonizado 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 cuaderno 6.4.12 numpy 1.21.5
oauthlib 3.2.0 empaquetado 21,3 Pandas 1.4.4
PandocFiltros 1.5.0 parso 0.8.3 pathspec 0.9.0
chivo expiatorio 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Almohada 9.2.0 pepita 22.2.2 platformdirs 2.5.2
trazado 5.9.0 pluggy 1.0.0 Cliente-Prometeo 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 Python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1 configuración de herramienta Python 1.2.2
pytz 2022.1 pyzmq 23.2.0 solicitudes 2.28.1
cuerda 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six (seis) 1.16.0
colador para sopa 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels (paquete de Python para análisis estadístico) 0.13.2 tenacidad 8.1.0 terminado 0.13.1
ruta de prueba 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 actualizaciones desatendidas 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 codificaciones web 0.5.1 whatthepatch 1.0.2
rueda 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de CRAN del Administrador de paquetes Posit en 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 10.0.1 askpass 1.1 asegúrate de que 0.2.1
retroportaciones 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 mancha 1.2.3
bota 1.3-28 fermentar 1,0 - 8 Brio 1.1.3
escoba 1.0.3 bslib 0.4.2 cachemir 1.0.6
callr 3.7.3 cursor 6.0-93 cellranger (herramienta de análisis de datos celulares) 1.1.0
Chron 2.3-59 clase 7.3-21 Cli 3.6.0
clipr 0.8.0 reloj 0.6.1 conglomerado 2.1.4
codetools 0.2-19 espacio de colores 2.1-0 commonmark 1.8.1
compilador 4.2.2 configuración 0.3.1 cpp11 0.4.3
crayón 1.5.2 credenciales 1.3.2 rizo 5.0.0
tabla de datos 1.14.6 conjuntos de datos 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Descripción 1.4.2 devtools 2.4.5
diffobj 0.3.5 digerir 0.6.31 iluminado hacia abajo 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
elipsis 0.3.2 evaluar 0,20 fans 1.0.4
colores 2.1.1 mapa rápido 1.1.0 fontawesome 0.5.0
convictos 1.0.0 foreach 1.5.2 extranjero 0.8-82
fragua 0.2.0 fs 1.6.1 futuro 1.31.0
future.apply 1.10.0 hacer gárgaras 1.3.0 genéricos 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globales 0.16.2
pegamento 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 elementos gráficos 4.2.2 grDevices 4.2.2
rejilla 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 Casco 1.2.0 refugio 2.5.1
más alto 0,10 HMS 1.1.2 herramientas de HTML 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Identificadores 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
etiquetado 0.4.2 más tarde 1.3.0 retícula 0.20-45
lava 1.7.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Formato Markdown 1.5
MASA 7.3-58.2 Matriz 1.5-1 memorizar 2.0.1
métodos 4.2.2 mgcv 1.8-41 mimo 0,12
miniUI (Interfaz de Usuario) 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl (software de cifrado) 2.0.5 paralelo 4.2.2
Paralelamente 1.34.0 pilar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 elogio 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progreso 1.2.2
progressr 0.13.0 promesas 1.2.0.1 prototipo 1.0.0
intermediario 0.4-27 P.D 1.7.2 ronroneo 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
Bosque Aleatorio (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recetas 1.0.4
partido de revancha 1.0.1 segunda revancha 2.1.2 Telecontroles 2.4.2
ejemplo reproducible 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 balanzas 1.2.1
selectr 0.4-2 información de sesión 1.2.2 forma 1.4.6
brillante 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 espacial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Estadísticas 4.2.2
estadísticas4 4.2.2 stringi 1.7.12 stringr 1.5.0
supervivencia 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 Formateo de texto 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 cambio de hora 0.2.0 fechaHora 4022.108
tinytex 0,44 herramientas 4.2.2 tzdb 0.3.0
verificador de URL 1.0.1 usa esto 2.1.6 utf8 1.2.3
utilidades 4.2.2 Identificador Único Universal (UUID) 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
bigotes 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 cremallera 2.2.2

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1 nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1 nativos
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone anotaciones_propensas_a_errores 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger perfilador 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics núcleo de métricas 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics métricas y verificaciones de salud 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine escabeche 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant lanzador de aplicaciones Ant 1.9.16
org.apache.arrow formato de flecha 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow vector de flecha 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curador-recetas 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hiedra 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4,22
org.apache.yetus anotaciones de audiencia 0.13.0
org.apache.zookeeper guardián de zoológico 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty Seguridad de Jetty 9.4.51.v20230217
org.eclipse.jetty servidor Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty Aplicación web de Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket-API 9.4.51.v20230217
org.eclipse.jetty.websocket cliente de websocket 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket servidor de websocket 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator validador de hibernación 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Cuñas 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible con ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on