Oharra
Orrialde honetara sartzeak baimena behar du. Saioa hasteko edo direktorioak aldatzen saia zaitezke.
Orrialde honetara sartzeak baimena behar du. Direktorioak aldatzen saia zaitezke.
Nota:
La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para todas las versiones compatibles de Databricks Runtime, consulte las notas de lanzamiento de Databricks Runtime sobre versiones y compatibilidad.
Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 15.3, con tecnología de Apache Spark 3.5.0.
Databricks publicó esta versión en junio de 2024.
Nuevas características y mejoras
Los orígenes de datos de PySpark ahora admiten la lectura y escritura de flujos
PySpark DataSources, que permiten leer desde orígenes de datos personalizados y escribir en receptores de datos personalizados, ahora admiten la lectura y escritura de secuencias. Consulte Orígenes de datos personalizados de PySpark.
Deshabilitar la asignación de columnas con la función de eliminación
Ahora puede usar DROP FEATURE para deshabilitar la asignación de columnas en tablas Delta y cambiar el protocolo de tabla. Consulte Deshabilitar la asignación de columnas.
Sintaxis y funciones de tipo variante en versión preliminar pública
La compatibilidad nativa de Apache Spark para trabajar con datos semiestructurados como tipo de VARIANT ya está disponible en DataFrames y SQL de Spark. Consulte Consulta de datos de variante.
Compatibilidad con tipos variante para Delta Lake en versión preliminar pública
Ahora puede usar VARIANT para almacenar datos semiestructurados en tablas respaldadas por Delta Lake. Consulte Compatibilidad con variante en Delta Lake.
Compatibilidad con diferentes modos de evolución del esquema en vistas
CREATE VIEW y ALTER VIEW ahora le permite establecer un modo de enlace de esquema, lo que mejora la forma en que las vistas controlan los cambios de esquema en los objetos subyacentes. Esta característica permite a las vistas tolerar o adaptarse a los cambios de esquema en los objetos subyacentes. Aborda los cambios en el esquema de consulta resultantes de modificaciones en las definiciones de objeto.
Compatibilidad con métodos de observe() agregados al cliente Scala de Spark Connect
El cliente Scala de Spark Connect ahora admite los métodos Dataset.observe(). La compatibilidad con estos métodos permite definir métricas para observar en un objeto Dataset mediante los métodos ds.observe("name", metrics...) o ds.observe(observationObject, metrics...).
Latencia de reinicio de flujo mejorada para el cargador automático
Esta versión incluye un cambio que mejora la latencia de reinicio del flujo para el cargador automático. Esta mejora se implementa haciendo asincrónica la carga de estado por parte del almacén de estados de RocksDB. Con este cambio, verá una mejora en los tiempos de inicio de las transmisiones con estados grandes, por ejemplo, transmisiones con muchos archivos ya ingeridos.
Devuelve un DataFrame como un pyarrow.Table
Para admitir la escritura de un dataframe directamente en un objeto de pyarrow.Table de Apache Arrow, esta versión incluye la función DataFrame.toArrow(). Para más información sobre el uso de Arrow en PySpark, consulte Apache Arrow in PySpark.
Mejora del rendimiento de algunas funciones de ventana
Esta versión incluye un cambio que mejora el rendimiento de algunas funciones de ventana de Spark, específicamente funciones que no incluyen una cláusula ORDER BY o un parámetro window_frame. En estos casos, el sistema puede volver a escribir la consulta para ejecutarla mediante una función de agregado. Este cambio permite que la consulta se ejecute más rápido mediante la agregación parcial y evitando la sobrecarga de las funciones de ventana en ejecución. El parámetro de configuración de Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled controla esta optimización y se establece en true de forma predeterminada. Para desactivar esta optimización, establezca spark.databricks.optimizer.replaceWindowsWithAggregates.enabled en false.
Compatibilidad con la función agregada try_mod
Esta versión agrega compatibilidad con la función try_mod() pySpark. Esta función admite el cálculo compatible con ANSI SQL del resto entero al dividir dos valores numéricos. Si el argumento divisor es 0, la función try_mod() devuelve null en lugar de iniciar una excepción. Puede usar la función try_mod() en lugar de mod o %, que produce una excepción si el argumento divisor es 0 y ANSI SQL está habilitado.
Compatibilidad con un parámetro de ámbito opcional en el list_secrets()
Esta versión permite limitar los resultados de la función de tabla list_secrets() a un ámbito específico.
Corrección de errores
Métricas WriteIntoDeltaCommand en la interfaz de usuario de Spark ahora se muestran correctamente
Esta versión incluye una corrección de las métricas que se muestran en la pestaña SQL de la interfaz de usuario de Spark para el nodo Execute WriteIntoDeltaCommand. Anteriormente, las métricas mostradas para este nodo eran cero.
La función groupby() de pandas API omitió el argumento as_index=False
Esta versión incluye una corrección de un problema con la función groupby() en la API de Pandas en Spark. Antes de esta corrección, un groupby() con la etiqueta de columnas agregadas y el argumento as_index=False no incluía claves de grupo en el DataFrame resultante.
Error de análisis con varias funciones de ventana que hacen referencia a la salida de las otras funciones
Esta versión corrige un problema que puede producirse cuando una consulta de Spark tiene varias funciones de ventana consecutivas, donde las funciones de ventana hacen referencia a la salida de las otras funciones de ventana. En raras ocasiones, el sistema podría quitar una de las referencias, lo que provoca errores al evaluar la consulta. Esta corrección proyecta estas referencias para garantizar la evaluación de consultas. Este cambio se controla mediante el parámetro de configuración de Spark spark.databricks.optimizer.collapseWindows.projectReferences, que se establece en true de forma predeterminada. Para desactivar este cambio, establezca spark.databricks.optimizer.collapseWindows.projectReferences en false.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- bloqueo de archivos de 3.13.1 a 3.13.4
- Bibliotecas de R actualizadas:
- Bibliotecas de Java actualizadas:
- org.rocksdb.rocksdbjni de 8.3.2 a 8.11.4
Apache Spark
Databricks Runtime 15.3 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 15.2 (EoS), así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:
- [SPARK-48211] [DBRRM-1041][15.x][15.3] Revertir “[SC-165552][sql] DB2: Leer SMALLINT como Sho…
- [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] Revertir SPARK-47904: Preservar la mayúscula y minúscula en el esquema Avro al usar enableStableIdentifiersForUnionType
- [SPARK-48288] [SC-166141] Adición del tipo de datos de origen para la expresión de conversión del conector
- [SPARK-48175] [SC-166341][sql][PYTHON] Almacenar información de intercalación en metadatos y no en tipo para SER/DE
- [SPARK-48172] [SC-166078][sql] Corrección de problemas de escape en JDBCDialects
- [SPARK-48186] [SC-165544][sql] Agregar compatibilidad con AbstractMapType
- [SPARK-48031] [SC-166523] Vistas heredadas en SCHEMA BINDING
-
[SPARK-48369] [SC-166566][sql][PYTHON][connect] Agregar función
timestamp_add - [SPARK-48330] [SC-166458][ss][PYTHON] Corrección del problema de tiempo de espera del origen de datos de streaming de Python para un intervalo de desencadenador grande
-
[SPARK-48369] Revertir "[SC-166494][sql][PYTHON][connect] Agregar función
timestamp_add" -
[SPARK-48336] [SC-166495][ps][CONNECT] Implementar
ps.sqlen Spark Connect -
[SPARK-48369] [SC-166494][sql][PYTHON][connect] Agregar función
timestamp_add - [SPARK-47354] [SC-165546][sql] Agregar compatibilidad de intercalación para expresiones variantes
- [SPARK-48161] [SC-165325][sql] Solucionar PR revertido: añadir soporte para intercalación en expresiones JSON
- [SPARK-48031] [SC-166391] Descomposición de la configuración viewSchemaMode, adición del soporte SHOW CREATE TABLE
- [SPARK-48268] [SC-166217][core] Agregar una configuración para SparkContext.setCheckpointDir
- [SPARK-48312] [ES-1076198][sql] Mejorar el rendimiento de Alias.removeNonInheritableMetadata
- [SPARK-48294] [SC-166205][sql] Manejar minúsculas en nestedTypeMissingElementTypeError
- [SPARK-47254] [SC-158847][sql] Asignar nombres a las clases de error _LEGACY_ERROR_TEMP_325[1-9]
- [SPARK-47255] [SC-158749][sql] Asignar nombres a las clases de error _LEGACY_ERROR_TEMP_323[6-7] y _LEGACY_ERROR_TEMP_324[7-9]
- [SPARK-48310] [ SC-166239][python][CONNECT] Las propiedades almacenadas en caché deben devolver copias
- [SPARK-48308] [SC-166152][core] Unificar la obtención del esquema de datos sin columnas de partición en FileSourceStrategy
-
[SPARK-48301] [SC-166143][sql] Cambiar el nombre
CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACEaCREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE -
[SPARK-48287] [SC-166139][ps][CONNECT] Aplicar el método integrado
timestamp_diff - [SPARK-47607] [SC-166129] Agregar documentación para el marco de registro estructurado
- [SPARK-48297] [SC-166136][sql] Corrección de una cláusula TRANSFORM de regresión con char/varchar
-
[SPARK-47045] [ SC-156808][sql] Reemplazar
IllegalArgumentExceptionporSparkIllegalArgumentExceptionensql/api -
[SPARK-46991] [ SC-156399][sql] Reemplazar
IllegalArgumentExceptionporSparkIllegalArgumentExceptionencatalyst - [SPARK-48031] [SC-165805][sql] Admite la evolución del esquema de vista
-
[SPARK-48276] [SC-166116][python][CONNECT] Agregar el método que falta
__repr__paraSQLExpression -
[SPARK-48278] [SC-166071][python][CONNECT] Refinar la representación de cadena de
Cast -
[SPARK-48272] [SC-166069][sql][PYTHON][connect] Agregar función
timestamp_diff - [SPARK-47798] [ SC-162492][sql] Enriquecer el mensaje de error para los errores de lectura de valores decimales
-
[SPARK-47158] [SC-158078][sql] Asignar el nombre adecuado y
sqlStatea_LEGACY_ERROR_TEMP_(2134|2231) - [SPARK-48218] [ SC-166082][core] TransportClientFactory.createClient puede provocar FetchFailedException
- [SPARK-48277] [SC-166066] Mejorar el mensaje de error de ErrorClassesJsonReader.getErrorMessage
-
[SPARK-47545] [SC-165444][connect] Compatibilidad con conjunto de datos
observepara el cliente de Scala -
[SPARK-48954] [SC-171672][sql] Agregar
try_modfunción - [SPARK-43258] [SC-158151][sql] Asignar nombres al error _LEGACY_ERROR_TEMP_202[3,5]
- [SPARK-48267] [ SC-165903][ss] Prueba e2e de regresión con SPARK-47305
- [SPARK-48263] [SC-165925] Compatibilidad de funciones de intercalación para cadenas no UTF8_BINARY
- [SPARK-48260] [SC-165883][sql] Deshabilitar la coordinación del confirmador de salida en una prueba de ParquetIOSuite
-
[SPARK-47834] [SC-165645][sql][CONNECT] Marcar funciones en desuso con
@deprecatedinSQLImplicits - [SPARK-48011] [ SC-164061][core] Almacenar el nombre logKey como un valor para evitar generar nuevas instancias de cadena
- [SPARK-48074] [ SC-164647][core] Mejorar la legibilidad de los registros JSON
- [SPARK-44953] [ SC-165866][core] Registre una advertencia cuando el seguimiento aleatorio esté habilitado junto con otro mecanismo compatible con DA.
-
[SPARK-48266] [SC-165897][connect] Mover el objeto
org.apache.spark.sql.connect.dslde paquete para probar el directorio -
[SPARK-47847] [SC-165651][core] En desuso
spark.network.remoteReadNioBufferConversion -
[SPARK-48171] [SC-165178][core] Limpiar el uso de constructores en desuso de
o.rocksdb.Logger - [SPARK-48235] [SC-165669][sql] Pase directamente join en lugar de todos los argumentos para getBroadcastBuildSide y getShuffleHashJoinBuildSide
- [SPARK-48224] [SC-165648][sql] Prohibir que las claves del mapa sean de tipo variant
- [SPARK-48248] [SC-165791][python] Corrección de la matriz anidada para respetar la configuración heredada de inferArrayTypeFromFirstElement
- [SPARK-47409] [SC-165568][sql] Añadir soporte para la intercalación para funciones/expresiones de tipo StringTrim (para UTF8_BINARY & LCASE)
- [SPARK-48143] [ ES-1095638][sql] Usar excepciones ligeras para el flujo de control entre UnivocityParser y FailureSafeParser
- [SPARK-48146] [SC-165668][sql] Corregir la función de agregado en la expresión secundaria de aserción
- [SPARK-48161] Revertir "[SC-165325][sql] Agregar soporte de colación para expresiones JSON"
- [SPARK-47963] [CORE] Hacer que el ecosistema de Spark externo pueda usar mecanismos de registro estructurados
- [SPARK-48180] [ SC-165632][sql] Mejorar el error cuando la llamada UDTF con TABLE arg olvida paréntesis alrededor de varios PARTITION/ORDER BY exprs
- [SPARK-48002] [SC-164132][python][SS] Agregar pruebas para métricas observadas en PySpark StreamingQueryListener
- [SPARK-47421] [SC-165548][sql] Agregar soporte para collation en expresiones URL
- [SPARK-48161] [SC-165325][sql] Agregar compatibilidad de intercalación para expresiones JSON
- [SPARK-47359] [SC-164328][sql] Compatibilidad con la función TRANSLATE para trabajar con cadenas intercaladas
- [SPARK-47365] [SC-165643][python] Añadir el método toArrow() de DataFrame a PySpark
- [SPARK-48228] [SC-165649][python][CONNECT] Implementación de la validación de la función que falta en ApplyInXXX
- [SPARK-47986] [ SC-165549][connect][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada.
- [SPARK-47963] Reversión de “[CORE] Hacer que el ecosistema de Spark externo pueda usar mecanismos de registro estructurados “
- [SPARK-47963] [CORE] Hacer que el ecosistema de Spark externo pueda usar mecanismos de registro estructurados
- [SPARK-48208] [ SC-165547][ss] Omisión de proporcionar métricas de uso de memoria de RocksDB si está habilitado el uso de memoria limitada
- [SPARK-47566] [ SC-164314][sql] Compatibilidad con la función SubstringIndex para trabajar con cadenas intercaladas
- [SPARK-47589] [SC-162127][sql]Hive-Thriftserver: Migrar logError con variables al marco de registro estructurado
- [SPARK-48205] [SC-165501][python] Quitar el modificador private[sql] para orígenes de datos de Python
- [SPARK-48173] [ SC-165181][sql] CheckAnalysis debería ver todo el plan de consulta.
- [SPARK-48197] [ SC-165520][sql] Evitar el error de aserción para una función lambda no válida
- [SPARK-47318] [ SC-162573][core] Agrega la ronda HKDF a la derivación de claves de AuthEngine para seguir las prácticas estándar de KEX.
-
[SPARK-48184] [ SC-165335][python][CONNECT] Establecer siempre la semilla de
Dataframe.sampleen el lado del cliente - [SPARK-48128] [SC-165004][sql] Para la expresión BitwiseCount / bit_count, corrigiendo el error de sintaxis en la generación de código para las entradas de tipo booleano.
- [SPARK-48147] [ SC-165144][ss][CONNECT] Quitar agentes de escucha del lado cliente cuando se elimina la sesión local de Spark
- [SPARK-48045] [SC-165299][python] La función groupby de la API de Pandas con multi-agg-relabel ignora as_index=False
- [SPARK-48191] [SC-165323][sql] Compatibilidad con UTF-32 para codificar y descodificar cadenas
- [SPARK-45352] [ SC-137627][sql] Eliminar particiones de ventana plegables
- [SPARK-47297] [SC-165179][sql] Agregar compatibilidad de intercalación para expresiones de formato
- [SPARK-47267] [SC-165170][sql] Agregar compatibilidad de intercalación para expresiones hash
- [SPARK-47965] [SC-163822][core] Evitar orNull en TypedConfigBuilder y OptionalConfigEntry
- [SPARK-48166] [SQL] Evite usar BadRecordException como error orientado al usuario en VariantExpressionEvalUtils
- [SPARK-48105] [SC-165132][ss] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
- [SPARK-47922] [SC-163997][sql] Implementar la expresión de try_parse_json
- [SPARK-47719] [SC-161909][sql] Cambiar spark.sql.legacy.timeParse…
- [SPARK-48035] [SC-165136][sql] Corrección de que try_add/try_multiply sea semánticamente equivalente a add/multiply
- [SPARK-48107] [SC-164878][python] Excluir pruebas de la distribución de Python
- [SPARK-46894] [SC-164447][python] Mover condiciones de error de PySpark al archivo JSON independiente
- [SPARK-47583] [ SC-163825][core] SQL Core: Migración de logError con variables al marco de registro estructurado
- [SPARK-48064] Revertir "[SC-164697][sql] Actualizar mensajes de error para clases de error relacionadas con rutinas"
- [SPARK-48048] [SC-164846][connect][SS] Se ha agregado compatibilidad con el agente de escucha del lado cliente para Scala.
- [SPARK-48064] [SC-164697][sql] Actualizar mensajes de error para clases de error relacionadas con rutinas
- [SPARK-48056] [ SC-164715][connect][PYTHON] Volver a ejecutar el plan si se produce un error de SESSION_NOT_FOUND y no se recibió ninguna respuesta parcial.
- [SPARK-48124] [SC-165009][core] Deshabilitar el registro estructurado para Connect-Repl de forma predeterminada
- [SPARK-47922] Revertir "[SC-163997][sql] Implementar la expresión try_parse_json"
- [SPARK-48065] [SC-164817][sql] SPJ: allowJoinKeysSubsetOfPartitionKeys resulta demasiado estricto
- [SPARK-48114] [ SC-164956][core] Precompilar regex de plantillas para evitar tareas innecesarias
- [SPARK-48067] [SC-164773][sql] Corregir columnas predeterminadas variantes
- [SPARK-47922] [SC-163997][sql] Implementar la expresión de try_parse_json
- [SPARK-48075] [SC-164709] [SS] Agregar comprobación de tipos para funciones avro de PySpark
- [SPARK-47793] [ SC-164324][ss][PYTHON] Implementación de SimpleDataSourceStreamReader para el origen de datos de streaming de Python
- [SPARK-48081] [SC-164719] Corregir ClassCastException en NTile.checkInputDataTypes() cuando el argumento es no plegable o de tipo incorrecto
- [SPARK-48102] [SC-164853][ss] Registrar la duración de la adquisición de métricas de origen/sumidero al informar el progreso de la consulta de streaming
- [SPARK-47671] [ SC-164854][core] Habilitación del registro estructurado en log4j2.properties.template y actualización de documentos
- [SPARK-47904] [SC-163409][sql] Conservar mayúsculas y minúsculas en el esquema avro al usar enableStableIdentifiersForUnionType
-
[SPARK-48058] [SC-164695][spark-43727][PYTHON][connect]
UserDefinedFunction.returnTypeanalizar la cadena DDL - [SPARK-46922] [SC-156102][core][SQL] No encapsular errores que enfrentan los usuarios en tiempo de ejecución
- [SPARK-48047] [SC-164576][sql] Reducir la presión de memoria de etiquetas TreeNode vacías
-
[SPARK-47934] [SC-164648] [CORE] Asegúrese de que las barras diagonales finales en las redirecciones de direcciones URL
HistoryServer - [SPARK-47921] [SC-163826][connect] Corregir la creación de ExecuteJobTag en ExecuteHolder
- [SPARK-48014] [SC-164150][sql] Cambiar el error makeFromJava en EvaluatePython a un error orientado al usuario
- [SPARK-47903] [SC-163424][python] Agregar compatibilidad con los tipos escalares restantes en la biblioteca Variant de PySpark
-
[SPARK-48068] [SC-164579][python] debe tener el parámetro
mypy - [SPARK-47846] [SC-163074][sql] Agregar compatibilidad con tipo Variant en from_json expresión
- [SPARK-48050] [SC-164322][ss] Registrar plan lógico al inicio de la consulta.
- [SPARK-47810] [SC-163076][sql] Reemplazar expresión equivalente a <=> en condición de combinación
- [SPARK-47741] [SC-164290] Se agregó el control de desbordamiento de pila en el analizador
- [SPARK-48053] [ SC-164309][python][CONNECT] SparkSession.createDataFrame debe advertir para las opciones no admitidas
- [SPARK-47939] [SC-164171][sql] Implementación de una nueva regla del analizador para mover ParameterizedQuery dentro de ExplainCommand y DescribeQueryCommand
-
[SPARK-48063] [SC-164432][core] Habilitar
spark.stage.ignoreDecommissionFetchFailurede forma predeterminada - [SPARK-48016] [SC-164280][sql] Corrección de un error en try_divide función cuando con decimales
-
[SPARK-48033] [SC-164291][sql] Corregir
RuntimeReplaceableexpresiones que se usan en columnas predeterminadas - [SPARK-48010] [ SC-164051][sql][ES-1109148] Evite llamadas repetidas a conf.resolver en resolveExpression
- [SPARK-48003] [SC-164323][sql] Agregar compatibilidad de intercalación para agregado de croquis hll
- [SPARK-47994] [SC-164175][sql] Corrección del error con la inserción del filtro de columna CASE WHEN en SQLServer
-
[SPARK-47984] [ SC-163837][ml][SQL] Cambiar
MetricsAggregate/V2Aggregator#serialize/deserializepara llamar aSparkSerDeUtils#serialize/deserialize - [SPARK-48042] [SC-164202][sql] Usar un formateador de marca de tiempo con zona horaria en el nivel de clase en lugar de realizar copias en el nivel de método
- [SPARK-47596] [ SPARK-47600][spark-47604][SPARK-47804] Migraciones de registros estructurados
- [SPARK-47594] [ SPARK-47590][spark-47588][SPARK-47584] Migraciones de registros estructurados
- [SPARK-47567] [SC-164172][sql] Compatibilidad con la función LOCATE para trabajar con cadenas intercaladas
- [SPARK-47764] [ SC-163820][core][SQL] Limpieza de dependencias de Shuffle basadas en ShuffleCleanupMode
-
[SPARK-48039] [SC-164174][python][CONNECT] Actualizar la clase de error para
group.apply - [SPARK-47414] [ SC-163831][sql] Compatibilidad de intercalación en minúsculas para expresiones regexp
- [SPARK-47418] [ SC-163818][sql] Agregar implementaciones diseñadas a mano para unicode en minúsculas contiene, startsWith y endsWith y optimizar UTF8_BINARY_LCASE
- [SPARK-47580] [SC-163834] [sql] Catalizador de SQL: eliminar variables sin nombre en los registros de errores
- [SPARK-47351] [ SC-164008][sql] Agregar compatibilidad de intercalación para las expresiones de cadena StringToMap y Mask
- [SPARK-47292] [ SC-164151][ss] safeMapToJValue debe considerar valores con tipo NULL
- [SPARK-47476] [SC-164014][sql] Compatibilidad con la función REPLACE para trabajar con cadenas intercaladas
- [SPARK-47408] [SC-164104][sql] Corregir expresiones matemáticas que usan StringType
- [SPARK-47350] [SC-164006][sql] Añadir soporte de intercalación para la función de cadena SplitPart
- [SPARK-47692] [SC-163819][sql] Corregir el significado de StringType predeterminado en la conversión implícita
- [SPARK-47094] [ SC-161957][sql] SPJ : Reequilibrar dinámicamente el número de cubos cuando no son iguales
-
[SPARK-48001] [SC-164000][core] Eliminar
private implicit def arrayToArrayWritableno utilizado deSparkContext - [SPARK-47986] [SC-163999][connect][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada.
- [SPARK-48019] [SC-164121] Corregir el comportamiento incorrecto en ColumnVector/ColumnarArray con diccionario y valores NULL
- [SPARK-47743] [ SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] Migraciones de registros estructurados
- [SPARK-47999] [SC-163998][ss] Mejorar el registro sobre la creación de instantáneas y la adición/eliminación de entradas del mapa de caché del estado en el proveedor de tienda de estado respaldado por HDFS.
- [SPARK-47417] [SC-162872][sql] Compatibilidad con la intercalación: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
- [SPARK-47712] [SC-161871][connect] Permitir que los complementos connect creen y procesen conjuntos de datos
- [SPARK-47411] [SC-163351][sql] Admite funciones StringInstr & FindInSet para trabajar con cadenas intercaladas
- [SPARK-47360] [SC-163014][sql] Compatibilidad con la intercalación: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
- [SPARK-47413] [SC-163323][sql] - agregar soporte para substr/left/right en intercalaciones.
- [SPARK-47983] [ SC-163835][sql] Demote spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled para interna
- [SPARK-47964] [SC-163816][python][CONNECT] Ocultar SQLContext y HiveContext en pyspark-connect
-
[SPARK-47985] [ SC-163841][python] Simplificar funciones con
lit -
[SPARK-47633] [SC-163453][sql] Incluir la salida del plan del lado derecho en
LateralJoin#allAttributespara lograr una canonicación más coherente - [SPARK-47909] Revertir "[PYTHON][connect] Clase DataFrame primaria f...
- [SPARK-47767] [SC-163096][sql] Mostrar el valor de desplazamiento en TakeOrderedAndProjectExec
- [SPARK-47822] [SC-162968][sql] Prohibir expresiones hash para aplicar hash al tipo de datos Variant
- [SPARK-47490] [SC-160494][ss] Corrección del uso del constructor Logger de RocksDB para evitar la advertencia de desuso
- [SPARK-47417] Revertir "[SC-162872][sql] Compatibilidad con la intercalación de cadenas: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
- [SPARK-47352] [SC-163460][sql] Corregir la conciencia de collation para Mayúsculas, Minúsculas, y Capitalización Inicial
- [SPARK-47909] [PYTHON][connect] Clase DataFrame principal para Spark Connect y Spark Classic
- [SPARK-47417] [SC-162872][sql] Compatibilidad con la intercalación: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
Compatibilidad con controladores ODBC/JDBC de Databricks
Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).
Consulte las Actualizaciones de mantenimiento de Databricks Runtime 15.3.
Entorno del sistema
- sistema operativo: Ubuntu 22.04.4 LTS
- Java: Zulu 8.78.0.19-CA-linux64
- Scala: 2.12.18
- Python: 3.11.0
- R: 4.3.2
- Delta Lake: 3.2.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
| almacenamiento-en-la-nube-azure | 12.19.1 | Servicio de Azure Storage File Data Lake | 12.14.0 | llamada de retorno | 0.2.0 |
| negro | 23.3.0 | intermitente | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| Haz clic | 8.0.4 | cloudpickle | 2.2.1 | Comunicación | 0.1.2 |
| contourpy | 1.0.5 | criptografía | 41.0.3 | ciclista | 0.11.0 |
| Cython | 0.29.32 | SDK de Databricks | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorador | 5.1.1 | distlib | 0.3.8 |
| puntos de entrada | 0,4 | Ejecutar | 0.8.3 | visión general de facetas | 1.1.1 |
| bloqueo de archivos | 3.13.4 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | autenticación de Google | 2.29.0 |
| google-cloud-core | 2.4.1 | almacenamiento en la nube de Google | 2.16.0 | google-crc32c | 1.5.0 |
| google-resumable-media (medios reanudables de Google) | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | Jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | llavero | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | embalaje | 23.2 |
| Pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| chivo expiatorio | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Almohada | 9.4.0 | pepita | 23.2.1 | platformdirs | 3.10.0 |
| trazado | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
| pyparsing | 3.0.9 | Python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
| pytz | 2022.7 | PyYAML | 6,0 | pyzmq | 23.2.0 |
| solicitudes | 2.31.0 | RSA | 4,9 | s3transfer | 0.10.1 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | biblioteca de visualización de datos de Python llamada seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 68.0.0 | Seis | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels (paquete de Python para análisis estadístico) | 0.14.0 | tenacidad | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
| traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | actualizaciones automáticas sin supervisión | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| rueda | 0.38.4 | zipp | 3.11.0 |
Bibliotecas de R instaladas
Las bibliotecas R se instalan desde la instantánea de CRAN del administrador de paquetes Posit.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| flecha | 14.0.0.2 | askpass | 1.2.0 | asegúrate de que | 0.2.1 |
| retroportaciones | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | poco | 4.0.5 | bit 64 | 4.0.5 |
| bitops | 1.0-7 | mancha | 1.2.4 | bota | 1.3-28 |
| fermentar | 1.0-10 | Brio | 1.1.4 | escoba | 1.0.5 |
| bslib | 0.6.1 | cachemir | 1.0.8 | callr | 3.7.3 |
| intercalador | 6.0-94 | cellranger (herramienta de análisis de datos celulares) | 1.1.0 | Chron | 2.3-61 |
| clase | 7.3-22 | Cli | 3.6.2 | clipr | 0.8.0 |
| reloj | 0.7.0 | conglomerado | 2.1.4 | codetools | 0.2-19 |
| espacio de colores | 2.1-0 | commonmark | 1.9.1 | compilador | 4.3.2 |
| configuración | 0.3.2 | en conflicto | 1.2.0 | cpp11 | 0.4.7 |
| crayón | 1.5.2 | credenciales | 2.0.1 | rizo | 5.2.0 |
| tabla de datos | 1.15.0 | Conjuntos de datos | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | Desc | 1.4.3 | devtools | 2.4.5 |
| diagrama | 1.6.5 | diffobj | 0.3.5 | digerir | 0.6.34 |
| iluminación descendente | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | elipsis | 0.3.2 | evaluar | 0,23 |
| fans | 1.0.6 | colores | 2.1.1 | mapa rápido | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| extranjero | 0.8-85 | fragua | 0.2.0 | Fs | 1.6.3 |
| futuro | 1.33.1 | aplicación futura | 1.11.1 | hacer gárgaras | 1.5.2 |
| genéricos | 0.1.3 | Gert | 2.0.1 | ggplot2 | 3.4.4 |
| Gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globales | 0.16.2 | pegamento | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
| gráficos | 4.3.2 | grDevices | 4.3.2 | rejilla | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0,7 | GT | 0.10.1 |
| gtable | 0.3.4 | Casco de obra | 1.3.1 | refugio | 2.5.4 |
| más alto | 0,10 | HMS | 1.1.3 | herramientas de HTML | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | Identificadores | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | Iteradores | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-21 | tejido | 1,45 | etiquetado | 0.4.3 |
| más tarde | 1.3.2 | retícula | 0.21-8 | lava | 1.7.3 |
| ciclo de vida | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | Formato Markdown | 1.12 | MASA | 7.3-60 |
| Matriz | 1.5-4.1 | guardar en memoria | 2.0.1 | métodos | 4.3.2 |
| mgcv | 1.8-42 | mimo | 0.12 | miniUI (Interfaz de Usuario) | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl (software de cifrado) | 2.1.1 | paralelo | 4.3.2 |
| Paralelamente | 1.36.0 | pilar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | elogio | 1.0.0 |
| prettyunits | 1.2.0 | Proc | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | progreso | 1.2.3 |
| progressr | 0.14.0 | promesas | 1.2.1 | proto | 1.0.0 |
| intermediario | 0.4-27 | P.D. | 1.7.6 | ronroneo | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | Bosque Aleatorio (randomForest) | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | r-reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recetas | 1.0.9 | partido de revancha | 2.0.0 | segunda revancha | 2.1.2 |
| Telecontroles | 2.4.2.1 | reprex (ejemplo reproducible) | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2,25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | Sass | 0.4.8 |
| balanzas | 1.3.0 | selectr | 0.4-2 | información de sesión | 1.2.2 |
| forma | 1.4.6 | brillante | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | espacial | 7.3-15 | Splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | Estadísticas | 4.3.2 |
| estadísticas4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| supervivencia | 3.5-5 | pavonearse | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| Formateo de texto | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | cambio de hora | 0.3.0 |
| FechaHora | 4032.109 | tinytex | 0,49 | herramientas | 4.3.2 |
| tzdb | 0.4.0 | verificador de URL | 1.0.1 | usa esto | 2.2.2 |
| utf8 | 1.2.4 | utilidades | 4.3.2 | identificador único universal (UUID) | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| Vroom | 1.6.5 | Waldo | 0.5.2 | bigote | 0.4.1 |
| withr | 3.0.0 | xfun | 0,41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | cremallera | 2.3.1 |
Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)
| Identificador de grupo | Id. de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | cliente de Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | aws-java-sdk-config (configuración del SDK de Java de AWS) | 1.12.610 |
| com.amazonaws | aws-java-sdk-core | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr | 1.12.610 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue | 1.12.610 |
| com.amazonaws | aws-java-sdk-iam | 1.12.610 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs (registros del SDK de AWS para Java) | 1.12.610 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | aws-java-sdk-sns | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | aws-java-sdk-soporte | 1.12.610 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.17.1 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | compañero de clase | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.cafeína | cafeína | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 nativos |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 nativos |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 nativos |
| com.github.fommil.netlib | netlib-sistema_nativo-linux-x86_64 | 1.1 nativos |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.10.1 |
| com.google.crypto.tink | Tink | 1.9.0 |
| com.google.errorprone | anotaciones_propensas_a_errores | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23/05/26 |
| com.google.guava | guayaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | perfilador | 1.1.1 |
| com.ibm.icu | icu4j | 72.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuración | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | analizadores univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack (software de cálculo numérico) | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compresor de aire | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.5 |
| io.dropwizard.metrics | anotación de métricas | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | métricas y verificaciones de salud | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | cliente_simple_común | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | coleccionista | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activación | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transacciones | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolución | javolución | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | escabeche | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combinado_todo | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc (servicio de comunicación remota) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | plantilla de cadenas | 3.2.1 |
| org.apache.ant | hormiga | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | lanzador de aplicaciones Ant | 1.10.11 |
| org.apache.arrow | formato de flecha | 15.0.0 |
| org.apache.arrow | núcleo de memoria de flecha | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | vector de flecha | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curador-cliente | 2.13.0 |
| org.apache.curator | marco de trabajo para curadores | 2.13.0 |
| org.apache.curator | curador-recetas | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derbi | 10.14.2.0 |
| org.apache.hadoop | Entorno de ejecución del cliente de Hadoop | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API de almacenamiento de hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | hiedra | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | calzos de orco | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-sombreado | 4.23 |
| org.apache.yetus | anotaciones de audiencia | 0.13.0 |
| org.apache.zookeeper | cuidador de zoológico | 3.6.3 |
| org.apache.zookeeper | Zookeeper-Jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | compilador común | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | colecciones de eclipse | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | seguridad de jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | servidor Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | Aplicación web de Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | API de WebSocket | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | cliente de websocket | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | servidor de websocket | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | servlet de contenedor de Jersey | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey común | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | validador de hibernación | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Anotaciones | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | Cuñas | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.11.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfaz de prueba | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | compatible con ScalaTest | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |