Compartir a través de

Databricks Runtime 13.1 (sin soporte técnico)

  • Artículo

Azure Databricks publicó estas imágenes en mayo de 2023.

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 13.1, con tecnología de Apache Spark 3.4.0.

Nuevas características y mejoras

Compatibilidad con clústeres con JDK 17 (versión preliminar pública)

Databricks ahora proporciona compatibilidad con clústeres para Java Development Kit (JDK) 17. Consulte SDK de Databricks para Java.

Agregar, cambiar o eliminar datos en tablas de streaming

Ahora puede usar instrucciones DML para modificar las tablas de streaming publicadas en el catálogo de Unity mediante canalizaciones de Delta Live Tables. Consulte Agregar, cambiar o eliminar datos en una tabla de streaming y Agregar, cambiar o eliminar datos en una tabla de streaming de destino. También puede usar instrucciones DML para modificar las tablas de streaming creadas en Databricks SQL.

Lectura de Kafka con SQL

Ahora puede usar la read_kafka función SQL para leer datos de Kafka. El streaming con SQL solo se admite en Delta Live Tables o con tablas de streaming en Databricks SQL. Consulte read_kafka función con valores de tabla.

Nuevas funciones integradas de SQL

Se han agregado las siguientes funciones:

Compatibilidad del catálogo de Unity con bibliotecas de Python con ámbito de clúster

El catálogo de Unity tiene algunas limitaciones en el uso de la biblioteca. En Databricks Runtime 13.1 y versiones posteriores, se admiten las bibliotecas de Python con ámbito de clúster, incluidos los archivos wheel de Python que se cargan como archivos del área de trabajo. No se admiten bibliotecas a las que se hace referencia mediante rutas de archivo DBFS, ya sea en la raíz de DBFS o en una ubicación externa montada en DBFS. No se admiten bibliotecas que no son de Python. Consulte Bibliotecas del clúster.

En Databricks Runtime 13.0 y versiones posteriores, las bibliotecas con ámbito de clúster no se admiten en clústeres que usan el modo de acceso compartido en un área de trabajo habilitada para el catálogo de Unity.

Habilitación predeterminada expandida para escrituras optimizadas en el catálogo de Unity

La compatibilidad de escritura optimizada predeterminada para tablas Delta registradas en el catálogo de Unity se ha ampliado para incluir CTAS instrucciones y operaciones INSERT para tablas con particiones. Este comportamiento se alinea con los valores predeterminados en los almacenes de SQL. Consulte Escrituras optimizadas para Delta Lake en Azure Databricks.

Compatibilidad avanzada con operadores con estado en cargas de trabajo de Structured Streaming

Ahora puede encadenar varios operadores con estado, lo que significa que puede alimentar la salida de una operación, como una agregación en ventana, a otra operación con estado, como una unión. Consultar Optimización de las consultas de Structured Streaming con estado.

El clon delta para el catálogo de Unity está en versión preliminar pública

Ahora puede usar un clon superficial para crear nuevas tablas administradas de Unity Catalog a partir de tablas administradas existentes de Unity Catalog. Consulte Clonación superficial para tablas de Unity Catalog.

Compatibilidad con Pub/Sub para Structured Streaming

Ahora puede usar un conector integrado para suscribirse a Google Pub/Sub con Structured Streaming. Consultar Suscribirse a Google Pub/Sub.

Eliminación de duplicados en marcas de agua en Structured Streaming

Ahora puede usar dropDuplicatesWithinWatermark en combinación con un umbral de marca de agua especificado para desduplicar registros en Structured Streaming. Consultar Anular duplicados en la marca de agua.

Compatibilidad ampliada con conversiones delta de tablas de Docker con columnas de partición truncadas

Ahora puede usar CLONE y CONVERT TO DELTA con tablas de Iceberg que tienen particiones definidas en columnas truncadas de tipos int, long y string. No se admiten columnas truncadas de tipo decimal.

Transmisión de cambios de esquema con asignación de columnas en Delta Lake

Puede proporcionar una ubicación de seguimiento de esquemas para habilitar el streaming desde tablas Delta con la asignación de columnas habilitada. Consulte Streaming con asignación de columnas y cambios de esquema.

Quitar START VERSION

START VERSION ahora está en desuso para ALTER SHARE.

Nuevas expresiones H3 disponibles con Python

Las expresiones h3_coverash3 y h3_coverash3string están disponibles con Python.

Correcciones de errores

Parquet failOnUnknownFields ya no quita los datos de forma silenciosa en errores de coincidencia de tipos

Si se leyó un archivo Parquet con solo la failOnUnknownFields opción o con Auto Loader en el modo de evolución del failOnNewColumns esquema, las columnas que tienen tipos de datos diferentes ahora generan un error y recomiendan usar rescuedDataColumn. El cargador automático ahora lee correctamente y ya no rescata los tipos Entero, Corto o Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos.

Últimos cambios

Actualice la versión sqlite-jdbc a la versión 3.42.0.0 a la dirección CVE-2023-32697

Actualice la versión sqlite-jdbc de 3.8.11.2 a 3.42.0.0. Las API de la versión 3.42.0.0 no son totalmente compatibles con 3.8.11.2. Si usa sqlite-jdbc en el código, compruebe el informe de compatibilidad sqlite-jdbc para obtener más información. Si migra a la versión 13.1 y usa sqlite, confirme los métodos y el tipo de valor devuelto en la versión 3.42.0.0.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • facets-overview de 1.0.2 a 1.0.3
    • filelock de 3.10.7 a 3.12.0
    • pyarrow: de 7.0.0 a 8.0.0
    • tenacidad de 8.0.1 a 8.1.0
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • com.github.ben-manes.cafeína.cafeína de 2.3.4 a 2.9.3
    • org.apache.orc.orc-core de 1.8.2-shaded-protobuf a 1.8.3-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.2-shaded-protobuf a 1.8.3-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.2 a 1.8.3
    • org.checkerframework.checker-qual de 3.5.0 a 3.19.0
    • org.scalactic.scalactic_2.12 de 3.0.8 a 3.2.15
    • org.scalatest.scalatest_2.12 de 3.0.8 a 3.2.15
    • org.xerial.sqlite-jdbc de 3.8.11.2 a 3.42.0.0

Apache Spark

Databricks Runtime 13.1 incluye Apache Spark 3.4.0. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 13.0 (sin soporte técnico), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:

  • [SPARK-42719] [DBRRM-199][SC-131578] Revert "[SC-125225] 'MapOutputTracker#getMap…
  • [SPARK-39696] [DBRRM-166][SC-130056][CORE] Revert [SC-127830]/
  • [SPARK-43331] [SC-130064][CONNECT] Agregar Spark Connect SparkSession.interruptAll
  • [SPARK-16484] [13.1][CHERRY_PICK][SC-130076][SQL] Utilizar registros de 8 bits para representar DataSketches
  • [SPARK-43332] [SC-130051][CONNECT][PYTHON] Permite ampliar ChannelBuilder para SparkConnectClient
  • [SPARK-43323] [SC-129966][SQL][PYTHON] Corregir DataFrame.toPandas con Arrow habilitado para controlar las excepciones correctamente
  • [SPARK-42940] [SC-129896][SS][CONNECT] Mejora de la administración de sesiones para las consultas de streaming
  • [SPARK-43336] [SQL] Conversión entre marca de tiempo y TimestampNTZ requiere zona horaria
  • [SPARK-43032] [SC-125756] [CONNECT][SS] Agregar administrador de consultas de streaming
  • [SPARK-16484] [SC-129975][SQL] Agregar compatibilidad con Datasketches HllSketch
  • [SPARK-43260] [SC-129281][PYTHON] Migre los errores de tipo de flecha pandas de Spark SQL a la clase de error.
  • [SPARK-41766] [SC-129964][CORE] Controlar la solicitud de retirada enviada antes del registro del ejecutor
  • [SPARK-43307] [SC-129971][PYTHON] Migración de errores de valor de PandasUDF a la clase de error
  • [SPARK-43206] [SC-129903] [SS] [CONNECT] Excepción streamingQuery() incluir seguimiento de la pila
  • [SPARK-43311] [SC-129905][SS] Agregar mejoras en la administración de memoria del proveedor del almacén de estado de RocksDB
  • [SPARK-43237] [SC-129898][CORE] Controlar el mensaje de excepción NULL en el registro de eventos
  • [SPARK-43320] [SC-129899][SQL][HIVE] Llame directamente a la API de Hive 2.3.9
  • [SPARK-43270] [SC-129897][PYTHON] Implementar __dir__() en pyspark.sql.dataframe.DataFrame para incluir columnas
  • [SPARK-43183] Revertir "[SC-128938][SS] Presentar una nueva devolución de llamada "…
  • [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
  • [SPARK-43257] [SC-129675][SQL] Reemplace la clase de error _LEGACY_ERROR_TEMP_2022 por un error interno
  • [SPARK-43198] [SC-129470][CONNECT] Corrección "No se pudo inicializar la clase ammonite..." error al usar el filtro
  • [SPARK-43165] [SC-129777][SQL] Mover canWrite a DataTypeUtils
  • [SPARK-43298] [SC-129729][PYTHON][ML] predict_batch_udf con entrada escalar produce un error con el tamaño de lote de uno
  • [SPARK-43298] [SC-129700]Revertir “[PYTHON][ML] predict_batch_udf with scalar input falla con tamaño de lote de uno"
  • [SPARK-43052] [SC-129663][CORE] Controlar stacktrace con el nombre de archivo NULL en el registro de eventos
  • [SPARK-43183] [SC-128938][SS] Presenta una nueva devolución de llamada "onQueryIdle" a StreamingQueryListener
  • [SPARK-43209] [SC-129190][CONNECT][PYTHON] Migración de errores de sesión de Spark Connect a la clase de error
  • [SPARK-42151] [SC-128754][SQL] Alinear asignaciones UPDATE con atributos de tabla
  • [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM client StreamingQuery exception() API
  • [SPARK-43298] [SC-129699][PYTHON][ML] predict_batch_udf con entrada escalar produce un error con el tamaño de lote de uno
  • [SPARK-43248] [SC-129660][SQL] Serialización o deserialización innecesaria de la ruta de acceso en estadísticas de recopilación paralelas de particiones
  • [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] Introduce PySparkNotImplementedError
  • [SPARK-43146] [SC-128804][CONNECT][PYTHON] Implementación de una evaluación diligente para el repr y repr_html
  • [SPARK-42953] [SC-129469][Connect][Followup] Corrección de la compilación de pruebas maven para pruebas UDF de cliente de Scala
  • [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
  • [SPARK-43136] [SC-129358][CONNECT] Agregar funciones groupByKey + mapGroup + coGroup
  • [SPARK-43156] [SC-129672][SC-128532][SQL] Corrección COUNT(*) is null del error en subconsulta escalar correlacionada
  • [SPARK-43046] [SC-129110] [SS] [Connect] Implementación de la API de Python DropDuplicatesWithinWatermark para Spark Connect
  • [SPARK-43199] [SC-129467][SQL] Make InlineCTE idempotent
  • [SPARK-43293] [ SC-129657][SQL] __qualified_access_only debe omitirse en columnas normales
  • [SPARK-43276] [SC-129461][CONNECT][PYTHON] Migración de errores de sesión de Spark Connect Window a la clase de error
  • [SPARK-43174] [SC-129109][SQL] Corrección del completador sparkSQLCLIDriver
  • [SPARK-43084] [SC-128654] [SS] Agregar compatibilidad con applyInPandasWithState para spark connect
  • [SPARK-43119] [SC-129040][SQL] Admite obtener palabras clave SQL dinámicamente thru JDBC API y TVF
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] UDF de Python optimizadas para flechas en Spark Connect
  • [SPARK-43085] [SC-128432][SQL] Admite la asignación de la columna DEFAULT para nombres de tabla de varias partes
  • [SPARK-43156] [SC-129463][SPARK-43098][SQL] Ampliar la prueba de errores de recuento de subconsultas escalares con decorrelateInnerQuery desactivado
  • [SPARK-43226] [LC-671] Define extractores para metadatos de constante de archivo
  • [SPARK-43210] [SC-129189][CONNECT][PYTHON] Introducir PySparkAssertionError
  • [SPARK-43214] [SC-129199][SQL] Publicar métricas del lado del controlador para LocalTableScanExec/CommandResultExec
  • [SPARK-43285] [SC-129347] Corrección de errores de ReplE2ESuite de forma coherente con JDK 17
  • [SPARK-43268] [SC-129249][SQL] Usar clases de error adecuadas cuando se construyen excepciones con un mensaje
  • [SPARK-43142] [SC-129299] Corrección de expresiones DSL en atributos con caracteres especiales
  • [SPARK-43129] [ SC-128896] API principal de Scala para streaming de Spark Connect
  • [SPARK-43233] [SC-129250] [SS] Agregar registro para la lectura por lotes de Kafka para la partición de temas, el intervalo de desplazamiento y el identificador de tarea
  • [SPARK-43249] [SC-129195][CONNECT] Corrección de estadísticas que faltan para el comando SQL
  • [SPARK-42945] [SC-129188][CONNECT] Compatibilidad con PYSPARK_JVM_STACKTRACE_ENABLED en Spark Connect
  • [SPARK-43178] [SC-129197][CONNECT][PYTHON] Migración de errores de UDF al marco de errores de PySpark
  • [SPARK-43123] [SC-128494][SQL] Los metadatos de campo internos no deben filtrarse a catálogos
  • [SPARK-43217] [SC-129205] Recurse correctamente en mapas o matrices anidados en findNestedField
  • [SPARK-43243] [SC-129294][PYTHON][CONNECT] Agregar parámetro de nivel para printSchema para Python
  • [SPARK-43230] [SC-129191][CONNECT] Simplificar DataFrameNaFunctions.fillna
  • [SPARK-43088] [SC-128403][SQL] Respect RequiresDistributionAndOrdering in CTAS/RTAS
  • [SPARK-43234] [SC-129192][CONNECT][PYTHON] Migración ValueError de DataFrame de Conect a la clase de error
  • [SPARK-43212] [SC-129187][SS][PYTHON] Migrar los errores de Streaming estructurado a la clase de error
  • [SPARK-43239] [SC-129186][PS] Quitar null_counts de info()
  • [SPARK-43190] [ SC-128930][SQL] ListQuery.childOutput debe ser coherente con la salida secundaria
  • [SPARK-43191] [SC-128924][CORE] Reemplace la reflexión c/ llamada directa para Hadoop CallerContext
  • [SPARK-43193] [SC-129042][SS] Quitar solución alternativa para HADOOP-12074
  • [SPARK-42657] [SC-128621][CONNECT] Compatibilidad para buscar y transferir archivos de clase REPL del lado cliente al servidor como artefactos
  • [SPARK-43098] [SC-77059][SQL] Corrección del error COUNT de corrección cuando la subconsulta escalar tiene una cláusula group by
  • [SPARK-43213] [SC-129062][PYTHON] Agregar DataFrame.offset a vainilla PySpark
  • [SPARK-42982] [SC-128400][CONNECT][PYTHON] Correct createDataFrame to respect the specified schema ddl
  • [SPARK-43124] [SC-129011][SQL] Dataset.show proyecta CommandResults localmente
  • [SPARK-42998] [SC-127422][CONNECT][PYTHON] Corregir DataFrame.collect con struct NULL
  • [SPARK-41498] [SC-125343]Revert " Propagación de metadatos a través de Union"
  • [SPARK-42960] [SC-129010] [CONNECT] [SS] Agregar await_termination() y exception() API para Streaming Query en Python
  • [SPARK-42552] [SC-128824][SQL] Corregir la estrategia de análisis sintáctico en dos etapas del analizador sintáctico antlr
  • [SPARK-43207] [SC-128937][CONNECT] Agregar funciones auxiliares para extraer el valor de la expresión literal
  • [SPARK-43186] [SC-128841][SQL][HIVE] Quitar solución alternativa para FileSinkDesc
  • [SPARK-43107] [SC-128533][SQL] Depósitos de fusión en combinación aplicados en la secuencia de combinación de difusión
  • [SPARK-43195] [SC-128922][CORE] Eliminación de contenedores serializables innecesarios en HadoopFSUtils
  • [SPARK-43137] [SC-128828][SQL] Mejorar ArrayInsert si la posición es plegable y positiva.
  • [SPARK-37829] [ SC-128827][SQL] Dataframe.joinWith outer-join debe devolver un valor NULL para la fila no que no coincide
  • [SPARK-43042] [SC-128602] [SS] [Connect] Agregar compatibilidad con la API table() para DataStreamReader
  • [SPARK-43153] [SC-128753][CONNECT] Omitir la ejecución de Spark cuando el dataframe es local
  • [SPARK-43064] [SC-128496][SQL] La pestaña SQL de la CLI de Spark SQL solo debe mostrar una sola instrucción una vez
  • [SPARK-43126] [SC-128447][SQL] Marcar dos expresiones UDF de Hive como con estado
  • [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] Combinar ifinstrucciones anidadas en instrucciones únicas if
  • [SPARK-43113] [SC-128749][SQL] Evaluar variables del lado de flujo al generar código para una condición enlazada
  • [SPARK-42895] [SC-127258][CONNECT] Mejorar los mensajes de error para las sesiones de Spark detenidas
  • [SPARK-42884] [SC-126662][CONNECT] Agregar integración de REPL de Ammonite
  • [SPARK-43168] [SC-128674][SQL] Quitar el método get PhysicalDataType de la clase Datatype
  • [SPARK-43121] [SC-128455][SQL] Use BytesWritable.copyBytes en lugar de una copia manual en "HiveInspectors"
  • [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog mantiene char/Varchar meta en el lado de lectura
  • [SPARK-43050] [SC-128550][SQL] Corrección de expresiones de agregado de construcción reemplazando las funciones de agrupación
  • [SPARK-43095] [SC-128549][SQL] Evite una vez que la idempotencia de la estrategia se interrumpe para el lote: Infer Filters
  • [SPARK-43130] [SC-128597][SQL] Mover InternalType a PhysicalDataType
  • [SPARK-43105] [SC-128456][CONNECT] Bytes abreviados y cadenas en el mensaje proto
  • [SPARK-43099] [SC-128596][SQL] Use getName en lugar de para obtener el nombre de getCanonicalName clase del generador al registrar udf en FunctionRegistry
  • [SPARK-42994] [SC-128586][ML][CONNECT] Compatibilidad del distribuidor PyTorch con el modo local
  • [SPARK-42859] Revertir "[SC-127935][CONNECT][PS] Compatibilidad básica con pandas API en Spark Connect"
  • [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin no funciona cuando se usa AQE
  • [SPARK-43125] [SC-128477][CONNECT] Corrección del servidor connect no puede controlar la excepción con un mensaje Null
  • [SPARK-43147] [SC-128594] corrección de lint de flake8 para la comprobación local
  • [SPARK-43031] [SC-128360] [SS] [Connect] Habilitación de pruebas unitarias y doctest para streaming
  • [SPARK-43039] [LC-67] Admite campos personalizados en la columna _metadata de origen del archivo.
  • [SPARK-43120] [SC-128407][SS] Se ha agregado compatibilidad con el seguimiento del uso de memoria de bloques anclados para el almacén de estado de RocksDB
  • [SPARK-43110] [SC-128381][SQL] Mover asIntegral a PhysicalDataType
  • [SPARK-43118] [SC-128398][SS] Quitar la aserción innecesaria para UninterruptibleThread en KafkaMicroBatchStream
  • [SPARK-43055] [SC-128331][CONNECT][PYTHON] Admite nombres de campo anidados duplicados
  • [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable permitirá especificar el nivel de almacenamiento
  • [SPARK-42985] [SC-128332][CONNECT][PYTHON] Arreglar createDataFrame para que respete las configuraciones SQL
  • [SPARK-39696] [SC-127830][CORE] Corregir la carrera de datos en el acceso a TaskMetrics.externalAccums
  • [SPARK-43103] [SC-128335][SQL] Mover asIntegral a PhysicalDataType
  • [SPARK-42741] [SC-125547][SQL] No desenvolver los lanzamientos en la comparación binaria cuando el literal es null
  • [SPARK-43057] [SC-127948][CONNECT][PYTHON] Migrar los errores de columna de Spark Connect a la clase de error
  • [SPARK-42859] [SC-127935][CONNECT][PS] Soporte básico para la API de pandas en Spark Connect
  • [SPARK-43013] [SC-127773][PYTHON] Migrar ValueError de DataFrame a PySparkValueError.
  • [SPARK-43089] [SC-128051][CONNECT] Redacte la cadena de depuración en la interfaz de usuario
  • [SPARK-43028] [SC-128070][SQL] Agregar clase de error SQL_CONF_NOT_FOUND
  • [SPARK-42999] [SC-127842][Connect] Dataset#foreach, foreachPartition
  • [SPARK-43066] [SC-127937][SQL] Agregar prueba para dropDuplicates en JavaDatasetSuite
  • [SPARK-43075] [SC-127939][CONNECT] Cambie gRPC a grpcio cuando no esté instalado.
  • [SPARK-42953] [SC-127809][Connect] Filtro con tipo, mapa, mapa, mapa, mapPartitions
  • [SPARK-42597] [SC-125506][SQL] Admite el tipo de fecha unwrap a tipo de marca de tiempo
  • [SPARK-42931] [SC-127933][SS] Introduce dropDuplicatesWithinWatermark
  • [SPARK-43073] [SC-127943][CONNECT] Agregar constantes de tipos de datos proto
  • [SPARK-43077] [SC-128050][SQL] Mejora del mensaje de error de UNRECOGNIZED_SQL_TYPE
  • [SPARK-42951] [SC-128030][SS][Connect] Api de DataStreamReader
  • [SPARK-43049] [SC-127846][SQL] Usar CLOB en lugar de VARCHAR(255) para StringType para Oracle JDBC
  • [SPARK-43018] [SC-127762][SQL] Corrección de errores en los comandos INSERT con literales de fecha y hora
  • [SPARK-42855] [SC-127722][SQL] Uso de comprobaciones null en tiempo de ejecución en TableOutputResolver
  • [SPARK-43030] [SC-127847][SQL] Desduplicar relaciones con columnas de metadatos
  • [SPARK-42993] [SC-127829][ML][CONNECT] Hacer que el distribuidor de PyTorch sea compatible con Spark Connect
  • [SPARK-43058] [SC-128072][SQL] Move Numeric and Fractional to PhysicalDataType
  • [SPARK-43056] [ SC-127946][SS] La confirmación del almacén de estado de RocksDB debe continuar funcionando en segundo plano solo si está en pausa
  • [SPARK-43059] [SC-127947][CONNECT][PYTHON] Migrar TypeError desde DataFrame(Reader|Writer) en la clase de error
  • [SPARK-43071] [SC-128018][SQL] Admite SELECT DEFAULT con ORDER BY, LIMIT, OFFSET para la relación de origen INSERT
  • [SPARK-43061] [SC-127956][CORE][SQL] Introduce PartitionEvaluator para la ejecución del operador SQL
  • [SPARK-43067] [SC-127938][SS] Corrija la ubicación del archivo de recursos de clase de error en el conector de Kafka
  • [SPARK-43019] [SC-127844][SQL] Mover el orden a PhysicalDataType
  • [SPARK-43010] [SC-127759][PYTHON] Migración de errores de columna a la clase de error
  • [SPARK-42840] [SC-127782][SQL] Cambio _LEGACY_ERROR_TEMP_2004 del error a error interno
  • [SPARK-43041] [SC-127765][SQL] Restaurar constructores de excepciones para la compatibilidad en la API del conector
  • [SPARK-42939] [SC-127761][SS][CONNECT] API de Python de streaming principal para Spark Connect
  • [SPARK-42844] [SC-127766][SQL] Actualice la clase de error de _LEGACY_ERROR_TEMP_2008 a INVALID_URL
  • [SPARK-42316] [SC-127720][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2044
  • [SPARK-42995] [SC-127723][CONNECT][PYTHON] Migrar los errores de Spark Connect DataFrame a la clase de error
  • [SPARK-42983] [SC-127717][CONNECT][PYTHON] Corrección de createDataFrame para controlar correctamente la matriz numpy 0-dim
  • [SPARK-42955] [SC-127476][SQL] Omitir classifyException y encapsular AnalysisException para SparkThrowable
  • [SPARK-42949] [SC-127255][SQL] Simplificación del código para NAAJ
  • [SPARK-43011] [SC-127577][SQL] array_insert debería fallar con un índice 0
  • [SPARK-42974] [SC-127487][CORE] Restaurar Utils.createTempDir para usar el método ShutdownHookManager y limpiar JavaUtils.createTempDir.
  • [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' también significa que la tabla ya existe
  • [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME no puede calificar un elemento new-table-Name con un elemento schema-Name
  • [SPARK-37980] [SC-127668][SQL] Access row_index a través de _metadata si es posible en las pruebas
  • [SPARK-42655] [SC-127591][SQL] Error de referencia de columna ambigua incorrecta
  • [SPARK-43009] [SC-127596][SQL] Parametrizadosql() con Any constantes
  • [SPARK-43026] [SC-127590][SQL] Aplicar AQE con caché de tablas que no son de Exchange
  • [SPARK-42963] [SC-127576][SQL] Ampliar SparkSessionExtensions para inyectar reglas en el optimizador de etapas de consulta AQE
  • [SPARK-42918] [SC-127357] Generalización del control de atributos de metadatos en FileSourceStrategy
  • [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Agregar Catalog compatibilidad
  • [SPARK-42997] [SC-127535][SQL] TableOutputResolver debe usar rutas de acceso de columna correctas en mensajes de error para matrices y mapas
  • [SPARK-43006] [SC-127486][PYSPARK] Corrección del error tipográfico en StorageLevel eq()
  • [SPARK-43005] [SC-127485][PYSPARK] Corregir error tipográfico en pyspark/pandas/config.py
  • [SPARK-43004] [SC-127457][CORE] Corrección del error tipográfico en ResourceRequest.equals()
  • [SPARK-42907] [SC-126984][CONNECT][PYTHON] Implementar funciones Avro
  • [SPARK-42979] [SC-127272][SQL] Definir constructores literales como palabras clave
  • [SPARK-42946] [SC-127252][SQL] Write confidential data nested by variable substitution
  • [SPARK-42952] [SC-127260][SQL] Simplificación del parámetro de la regla de analizador PreprocessTableCreation y DataSourceAnalysis
  • [SPARK-42683] [LC-75] Cambiar automáticamente el nombre de las columnas de metadatos en conflicto
  • [SPARK-42853] [SC-126101][Seguimiento] Corregir conflictos
  • [SPARK-42929] [SC-126748][CONNECT] hacer que mapInPandas/ mapInArrow admita "is_barrier"
  • [SPARK-42968] [SC-127271][SS] Agregar opción para omitir el coordinador de confirmaciones como parte de la API streamingWrite para orígenes o receptores de DSv2
  • [SPARK-42954] [SC-127261][PYTHON][CONNECT] Agregar YearMonthIntervalType al cliente Python de PySpark y Spark Connect
  • [SPARK-41359] [SC-127256][SQL] Usar PhysicalDataType en lugar de DataType en UnsafeRow
  • [SPARK-42873] [SC-127262][SQL] Definir tipos de Spark SQL como palabras clave
  • [SPARK-42808] [SC-126302][CORE] Evite obtener availableProcessors cada vez en MapOutputTrackerMaster#getStatistics
  • [SPARK-42937] [SC-126880][SQL] PlanSubqueries debe fijar InSubqueryExec#shouldBroadcast en true
  • [SPARK-42896] [SC-126729][SQL][PYTHON] Compatibilidad mapInPandas / mapInArrow con la ejecución del modo de barrera
  • [SPARK-42874] [SC-126442][SQL] Habilitación del nuevo marco de pruebas de archivos dorados para el análisis de todos los archivos de entrada
  • [SPARK-42922] [SC-126850][SQL] Pasar de aleatorio a SecureRandom
  • [SPARK-42753] [SC-126369] ReusedExchange hace referencia a nodos inexistentes
  • [SPARK-40822] [SC-126274][SQL] Alias de columna derivada estable
  • [SPARK-42908] [SC-126856][PYTHON] Raise RuntimeError when SparkContext is required but not initialized
  • [SPARK-42779] [SC-126042][SQL] Permitir escrituras V2 para indicar el tamaño de partición aleatorio de aviso
  • [SPARK-42914] [SC-126727][PYTHON] Reutilización transformUnregisteredFunction para DistributedSequenceID.
  • [SPARK-42878] [SC-126882][CONNECT] La API de tabla de DataFrameReader también podría aceptar opciones
  • [SPARK-42927] [SC-126883][CORE] Cambiar el ámbito de acceso de o.a.spark.util.Iterators#size a private[util]
  • [SPARK-42943] [SC-126879][SQL] Use LONGTEXT en lugar de TEXT para StringType para una longitud efectiva
  • [SPARK-37677] [SC-126855][CORE] Unzip podría mantener los permisos de archivo
  • [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] Implementar la API de mapas coagrupados
  • [SPARK-41876] [SC-126849][CONNECT][PYTHON] Implementar DataFrame.toLocalIterator
  • [SPARK-42930] [SC-126761][CORE][SQL] Cambiar el ámbito de acceso de ProtobufSerDe las implementaciones relacionadas a private[protobuf]
  • [SPARK-42819] [SC-125879][SS] Se ha agregado compatibilidad para establecer max_write_buffer_number y write_buffer_size para RocksDB usado en streaming
  • [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] Aclaración del comentario de argumentos sql con parámetros
  • [SPARK-42748] [SC-126455][CONNECT] Administración de artefactos del lado servidor
  • [SPARK-42816] [SC-126365][CONNECT] Admite el tamaño máximo de mensajes hasta 128 MB
  • [SPARK-42850] [SC-126109][SQL] Quitar la regla duplicada CombineFilters en el optimizador
  • [SPARK-42662] [SC-126355][CONNECT][PS] Adición de un mensaje proto para pandas API en el índice predeterminado de Spark
  • [SPARK-42720] [SC-126136][PS][SQL] Usa expresión para el índice predeterminado de secuencia distribuida en lugar del plan
  • [SPARK-42790] [SC-126174][SQL] Abstrae el método excluido para una mejor prueba para las pruebas de Docker de JDBC.
  • [SPARK-42900] [SC-126473][CONNECT][PYTHON] Corregir createDataFrame para respetar la inferencia y los nombres de columna
  • [SPARK-42917] [SC-126657][SQL] Correcto getUpdateColumnNullabilityQuery for DerbyDialect
  • [SPARK-42684] [SC-125157][SQL] v2 catalog no debe permitir el valor predeterminado de columna de forma predeterminada
  • [SPARK-42861] [SC-126635][SQL] Use private[sql] en lugar de protected[sql] para evitar la generación de documentos de API
  • [SPARK-42920] [SC-126728][CONNECT][PYTHON] Habilitación de pruebas para UDF con UDT
  • [SPARK-42791] [SC-126617][SQL] Creación de un nuevo marco de pruebas de archivos dorados para su análisis
  • [SPARK-42911] [SC-126652][PYTHON] Introducción a excepciones más básicas
  • [SPARK-42904] [SC-126634][SQL] Compatibilidad con Char/Varchar para el catálogo JDBC
  • [SPARK-42901] [SC-126459][CONNECT][PYTHON] Pasar StorageLevel a un archivo independiente para evitar posibles file recursively imports
  • [SPARK-42894] [SC-126451][CONNECT] Compatibilidadcache/persist/unpersist/storageLevel cpn el cliente jvm de Spark Connect
  • [SPARK-42792] [SC-125852][SS] Se ha agregado compatibilidad con WRITE_FLUSH_BYTES para RocksDB que se usan en operadores con estado de streaming
  • [SPARK-41233] [SC-126441][CONNECT][PYTHON] Agregar array_prepend al cliente Python de Spark Connect
  • [SPARK-42681] [SC-125149][SQL] Restricción de ordenación relajante para ALTER TABLE ADD|REEMPLAZAR descriptor de columna
  • [SPARK-42889] [SC-126367][CONNECT][PYTHON] Implementar caché, conservar, nopersist y storageLevel
  • [SPARK-42824] [SC-125985][CONNECT][PYTHON] Proporcione un mensaje de error claro para los atributos JVM no admitidos
  • [SPARK-42340] [SC-126131][CONNECT][PYTHON] Implementing the CoGrouped map API
  • [SPARK-42892] [SC-126454][SQL] Move sameType y métodos pertinentes fuera de DataType
  • [SPARK-42827] [SC-126126][CONNECT] Compatibilidad de functions#array_prepend con el cliente Scala Connect
  • [SPARK-42823] [SC-125987][SQL] spark-sql shell admite espacios de nombres de varias partes para la inicialización
  • [SPARK-42817] [SC-125960][CORE] Registro del nombre de servicio aleatorio una vez en ApplicationMaster
  • [SPARK-42786] [SC-126438][Conectar] Selección con tipo
  • [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] Implementar la función ml {array_to_vector, vector_to_array}
  • [SPARK-42052] [SC-126439][SQL]Compatibilidad de Codegen con HiveSimpleUDF
  • [SPARK-41233] [SC-126110][SQL][PYTHON] Agregar array_prepend función
  • [SPARK-42864] [SC-126268][ML][3.4] Hacer IsotonicRegression.PointsAccumulator privado
  • [SPARK-42876] [SC-126281][SQL] DataType's physicalDataType debe ser private[sql]
  • [SPARK-42101] [SC-125437][SQL] Hacer que AQE admita InMemoryTableScanExec
  • [SPARK-41290] [SC-124030][SQL] Compatibilidad con expresiones ALWAYS AS generadas para columnas en instrucciones de tabla create/replace
  • [SPARK-42870] [SC-126220][CONNECT] Mover toCatalystValue a connect-common
  • [SPARK-42247] [SC-126107][CONNECT][PYTHON] Corregir UserDefinedFunction para tener returnType
  • [SPARK-42875] [SC-126258][CONNECT][PYTHON] Corregir toPandas para controlar correctamente los tipos de zona horaria y mapa
  • [SPARK-42757] [SC-125626][CONNECT] Implementar textFile para DataFrameReader
  • [SPARK-42803] [SC-126081][CORE][SQL][ML] Use la función getParameterCount en lugar de getParameterTypes.length
  • [SPARK-42833] [SC-126043][SQL] Refactorización applyExtensionsSparkSession
  • [SPARK-41765] Revertir "[SC-123550][SQL] Extraer métricas de escritura v1…
  • [SPARK-42848] [SC-126105][CONNECT][PYTHON] Implementar DataFrame.registerTempTable
  • [SPARK-42020] [SC-126103][CONNECT][PYTHON] Compatibilidad con UserDefinedType en Spark Connect
  • [SPARK-42818] [SC-125861][CONNECT][PYTHON] Implementar DataFrameReader/Writer.jdbc
  • [SPARK-42812] [SC-125867][CONNECT] Agregar client_type al mensaje protobuf AddArtifactsRequest
  • [SPARK-42772] [SC-125860][SQL] Cambiar el valor predeterminado de las opciones de JDBC sobre la inserción a true
  • [SPARK-42771] [SC-125855][SQL] Refactorizar HiveGenericUDF
  • [SPARK-25050] [SC-123839][SQL] Avro: escritura de uniones complejas
  • [SPARK-42765] [SC-125850][CONNECT][PYTHON] Habilitación de la importación pandas_udf desde pyspark.sql.connect.functions
  • [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation debe respetar spark.shuffle.reduceLocality.enabled
  • [SPARK-42480] [SC-125173][SQL] Mejorar el rendimiento de las particiones de caída
  • [SPARK-42689] [SC-125195][CORE][SHUFFLE] Permitir que ShuffleDriverComponent declare si los datos aleatorios se almacenan de forma confiable
  • [SPARK-42726] [SC-125279][CONNECT][PYTHON] Implementar DataFrame.mapInArrow
  • [SPARK-41765] [SC-123550][SQL] Extraer métricas de escritura v1 en WriteFiles
  • [SPARK-41171] [SC-124191][SQL] Inferencia e inserción del límite de ventana a través de la ventana si partitionSpec está vacío
  • [SPARK-42686] [SC-125292][CORE] Aplazar el formato para depurar mensajes en TaskMemoryManager
  • [SPARK-42756] [SC-125443][CONNECT][PYTHON] Función auxiliar para convertir el literal proto al valor en el cliente de Python
  • El módulo [SPARK-42793] [SC-125627][CONNECT] connect requiere build_profile_flags
  • [SPARK-42701] [SC-125192][SQL] Agregue la función try_aes_decrypt()
  • [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame no funciona con un esquema que no acepta valores NULL
  • [SPARK-42733] [SC-125542][CONNECT][Followup] Write without path or table
  • [SPARK-42777] [SC-125525][SQL] Compatibilidad con la conversión de estadísticas de catálogo TimestampNTZ en estadísticas de plan
  • [SPARK-42770] [SC-125558][CONNECT] Agregar truncatedTo(ChronoUnit.MICROS) para realizar SQLImplicitsTestSuite en la tarea ga de prueba diaria de Java 17
  • [SPARK-42752] [SC-125550][PYSPARK][SQL] Hacer que las excepciones de PySpark se puedan imprimir durante la inicialización
  • [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Compatibilidad con el método getActiveSession de la sesión de spark connect
  • [SPARK-42755] [SC-125442][CONNECT] Conversión de valor literal de factor a connect-common
  • [SPARK-42747] [SC-125399][ML] Corregir el estado interno incorrecto de LoR y AFT
  • [SPARK-42740] [SC-125439][SQL] Corrección del error que el desplazamiento o la paginación de inserción no son válidos para algunos dialectos integrados
  • [SPARK-42745] [SC-125332][SQL] AliasAwareOutputExpression mejorado funciona con DSv2
  • [SPARK-42743] [SC-125330][SQL] Compatibilidad con el análisis de columnas TimestampNTZ
  • [SPARK-42721] [SC-125371][CONNECT] Interceptor de registro RPC
  • [SPARK-42691] [SC-125397][CONNECT][PYTHON] Implement Dataset.semanticHash
  • [SPARK-42688] [SC-124922][CONNECT] Cambiar el nombre de la solicitud proto de Connect client_id a session_id
  • [SPARK-42310] [SC-122792][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1289
  • [SPARK-42685] [SC-125339][CORE] Optimizar rutinas de Utils.bytesToString
  • [SPARK-42725] [SC-125296][CONNECT][PYTHON] Hacer que LiteralExpression admita parámetros de matriz
  • [SPARK-42702] [SC-125293][SPARK-42623][SQL] Soporte de consulta parametrizada en subconsulta y CTE
  • [SPARK-42697] [SC-125189][WEBUI] Corrección de /api/v1/applications para devolver el tiempo de actividad total en lugar de 0 para el campo de duración
  • [SPARK-42733] [SC-125278][CONNECT][PYTHON] Corregir DataFrameWriter.save para que funcione sin parámetro de ruta de acceso
  • [SPARK-42376] [SC-124928][SS] Introducir la propagación de marcas de agua entre operadores
  • [SPARK-42710] [SC-125205][CONNECT][PYTHON] Cambiar el nombre de FrameMap proto a MapPartitions
  • [SPARK-37099] [SC-123542][SQL] Introducir el límite de grupo de Ventana para el filtro basado en clasificación para optimizar el cálculo superior k
  • [SPARK-42630] [SC-125207][CONNECT][PYTHON] Introduce UnparsedDataType y retrasa el análisis de la cadena DDL hasta que SparkConnectClient esté disponible
  • [SPARK-42690] [SC-125193][CONNECT] Implementación de funciones de análisis csv/JSON para el cliente de Scala
  • [SPARK-42709] [SC-125172][PYTHON] Quitar la suposición de __file__ estar disponible
  • [SPARK-42318] [SC-122648][SPARK-42319][SQL] Asignar nombre a LEGACY_ERROR_TEMP(2123|2125)
  • [SPARK-42723] [SC-125183][SQL] Admite el tipo de datos del analizador json "timestamp_ltz" como TimestampType
  • [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() no debe almacenar en caché el esquema
  • [SPARK-42643] [SC-125152][CONNECT][PYTHON] Registro de funciones definidas por el usuario de Java (agregado)
  • [SPARK-42656] [SC-125177][CONNECT][Followup] Corrección del script spark-connect
  • [SPARK-41516] [SC-123899] [SQL] Permitir que los dialectos jdbc invaliden la consulta usada para crear una tabla
  • [SPARK-41725] [SC-124396][CONNECT] Ejecución diligente de DF.sql()
  • [SPARK-42687] [SC-124896][SS] Mensaje de error mejorado para la operación no compatible pivot en streaming
  • [SPARK-42676] [SC-124809][SS] Escribir puntos de control temporales para las consultas de streaming en el sistema de archivos local, incluso si el FS predeterminado se establece de forma diferente
  • [SPARK-42303] [SC-122644][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1326
  • [SPARK-42553] [SC-124560][SQL] Asegúrese de que al menos una unidad de tiempo después del "intervalo"
  • [SPARK-42649] [SC-124576][CORE] Quite el encabezado de licencia de Apache estándar de la parte superior de los archivos de origen de terceros
  • [SPARK-42611] [SC-124395][SQL] Insertar comprobaciones de longitud char/varchar para campos internos durante la resolución
  • [SPARK-42419] [SC-124019][CONNECT][PYTHON] Migrar al marco de error para Spark Connect Column API.
  • [SPARK-42637] [SC-124522][CONNECT] Agregar SparkSession.stop()
  • [SPARK-42647] [SC-124647][PYTHON] Cambio de alias para tipos en desuso y eliminados de numpy
  • [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver solo cerrará hive sessionState iniciado
  • [SPARK-42593] [SC-124405][PS] Desapruebe y elimine las API que se quitarán en Pandas 2.0.
  • [SPARK-41870] [SC-124402][CONNECT][PYTHON] Corrección de createDataFrame para controlar nombres de columna duplicados
  • [SPARK-42569] [SC-124379][CONNECT] Inicia excepciones para la API de sesión no admitida
  • [SPARK-42631] [SC-124526][CONNECT] Compatibilidad con extensiones personalizadas en el cliente de Scala
  • [SPARK-41868] [SC-124387][CONNECT][PYTHON] Corregir createDataFrame para admitir duraciones
  • [SPARK-42572] [SC-124171][SQL][SS] Corrección del comportamiento de StateStoreProvider.validateStateRowFormat

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 13.1.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 criptografía 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 entrypoints 0,4
executing 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
filelock 3.12.0 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.12 numpy 1.21.5 oauthlib 3.2.0
empaquetado 21,3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 8.0.0
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
pyzmq 23.2.0 requests 2.28.1 rope 1.7.0
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
seaborn 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 six (seis) 1.16.0 soupsieve 2.3.1
ssh-import-id 5.11 stack-data 0.6.2 statsmodels 0.13.2
tenacity 8.1.0 terminado 0.13.1 testpath 0.6.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.1 typing_extensions 4.3.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.11
virtualenv 20.16.3 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 whatthepatch 1.0.2 wheel 0.37.1
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan con la instantánea de Microsoft CRAN desde el 02-10-2023.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 clase 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 conjuntos de datos 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0,20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 elementos gráficos 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progreso 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0,44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.6.4
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1