Partekatu bidez

Databricks Runtime 11.1 (EoS)

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 11.1, con tecnología de Apache Spark 3.3.0. Databricks publicó esta versión en julio de 2022.

Nuevas características y mejoras

Photon tiene disponibilidad general

Photon ya está disponible con carácter general, a partir de Databricks Runtime 11.1. Photon es el motor nativo vectorizado de consultas en Azure Databricks, escrito para ser directamente compatible con las API de Apache Spark, por lo que funciona con el código existente. Photon se ha desarrollado en C++ para aprovechar el hardware moderno y usa las técnicas más recientes en el procesamiento vectorizado de consultas para aprovechar el paralelismo de nivel de datos e instrucciones en las CPU, lo que mejora el rendimiento de los datos y las aplicaciones reales, todo ello de forma nativa en el lago de datos.

Photon forma parte de un entorno de ejecución de alto rendimiento que ejecuta las llamadas API SQL y DataFrame existentes más rápidamente y reduce el coste total por carga de trabajo. Photon se usa de forma predeterminada en los almacenes de Databricks SQL.

Entre las nuevas características y mejoras se incluyen las siguientes:

  • Nuevo operador de ordenación vectorial
  • Nuevas funciones de ventana vectorial
  • Nuevos tipos y tamaños de instancia en todas las nubes

Limitaciones:

  • Photon no admite UDF de Scala/Python
  • Photon no admite RDD
  • Photon no admite el streaming estructurado

Para más información, consulte los siguientes anuncios de Photon.

Photon: Nuevo operador de ordenación vectorial

Photon ahora admite una ordenación vectorial para cuando una consulta contiene SORT_BY, CLUSTER_BY o una función de ventana con ORDER BY.

Limitaciones: Photon no admite una cláusula ORDER BY global. Las ordenaciones para la evaluación de ventanas se harán con Photon, pero la ordenación global seguirá ejecutándose en Spark.

Photon: Nuevas funciones de ventana vectorial

Photon ahora admite la evaluación de funciones de ventana vectorial para muchos tipos de marco y funciones. Las nuevas funciones de ventana incluyen: row_number, rank, dense_rank, lag, lead, percent_rank, ntile y nth_value. Tipos de marco de ventana admitidos: en ejecución (UNBOUNDED PRECEDING AND CURRENT ROW), sin enlazar (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), en crecimiento (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) y en reducción (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitaciones:

  • Photon solo admite versiones ROWS de todos los tipos de marco.
  • Photon aún no admite el tipo de marco deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: tipos de instancia admitidos

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

La fuente de distribución de datos modificados ahora puede controlar automáticamente las marcas de tiempo fuera del intervalo

La fuente de distribución de datos modificados (CDF) ahora tiene un nuevo modo para proporcionar marcas de tiempo o versiones posteriores a una versión de confirmación más reciente sin producir errores. Este modo está deshabilitado de forma predeterminada. Puede habilitarlo si establece la configuración spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled en true.

Al describir y mostrar las funciones SQL ahora se muestran los nombres de Unity Catalog en la salida (versión preliminar pública)

Los comandos DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN y SHOW CREATE TABLE ahora muestran siempre el nombre del catálogo en la salida.

Inferencia de esquemas y evolución para archivos Parquet en el cargador automático (versión preliminar pública)

El cargador automático ahora admite la inferencia y la evolución de esquemas en archivos Parquet. Al igual que los formatos JSON, CSV y Avro, ahora puede usar la columna de datos de rescate para rescatar datos inesperados que puedan aparecer en los archivos Parquet. Esto incluye datos que no se pueden analizar en el tipo de datos esperado, columnas que tienen un uso de mayúsculas y minúsculas diferente o columnas adicionales que no forman parte del esquema esperado. Puede configurar el cargador automático para que el esquema evolucione automáticamente al encontrar nuevas columnas agregadas en los datos entrantes. Consulte Configuración de inferencia y evolución de esquemas en Auto Loader.

Ahora Auto Loader admite la evolución del esquema para Avro (GA)

Consulte Configuración de inferencia y evolución de esquemas en Auto Loader.

Compatibilidad de Delta Lake con las sobrescrituras de particiones dinámicas

Delta Lake ahora habilita el modo de sobrescritura de dinámica de particiones para sobrescribir todos los datos existentes en cada partición lógica para la que la escritura va a confirmar los nuevos datos. Consulte Sobrescritura de datos de forma selectiva con Delta Lake.

Compatibilidad del esquema de información con objetos creados en Unity Catalog

El esquema de información proporciona una API basada en SQL que describe automáticamente a los metadatos de varios objetos de base de datos, incluidas tablas y vistas, restricciones y rutinas. Dentro del esquema de información se encuentra un conjunto de vistas que describen los objetos conocidos por el catálogo del esquema, las cuales tienes privilegio para ver. El esquema de información del catálogo SYSTEM devuelve información sobre los objetos de todos los catálogos del metastore. Consulte Esquema de información.

Restricciones informativas en tablas de Delta Lake con Unity Catalog (versión preliminar pública)

Ahora puede definir restricciones de clave principal informativa y clave externa en tablas de Delta Lake con Unity Catalog. No se aplican restricciones informativas. Consulte la cláusula CONSTRAINT.

Unity Catalog está en disponibilidad general

A partir de Databricks Runtime 11.1, Unity Catalog ya está disponible con carácter general. Consulte ¿Qué es Unity Catalog?

Delta Sharing está en disponibilidad general

A partir de Databricks Runtime 11.1, Delta Sharing ya está disponible con carácter general.

Databricks-to-Databricks Delta Sharing se administra completamente sin necesidad de intercambiar tokens. Puede crear y administrar proveedores, destinatarios y recursos compartidos en la interfaz de usuario o bien con las API de REST y SQL.

Entre las características se incluyen la restricción del acceso a los destinatarios, la consulta de datos con listas de acceso IP, restricciones de regiones y la delegación de la administración de Delta Sharing a aquellos que no son administradores. También puede consultar los cambios en los datos o compartir versiones incrementales con fuentes de distribución de datos modificados. Vea ¿Qué es Delta Sharing?.

Cambios de comportamiento

Eliminación de propiedades sensibles para DESCRIBE TABLE y SHOW TABLE PROPERTIES

Las propiedades confidenciales se redactan en DataFrames y la salida de los DESCRIBE TABLE comandos y SHOW TABLE PROPERTIES .

Los clústeres de trabajo tienen como valor predeterminado el modo de acceso de usuario único con Databricks Runtime 11.1 y versiones posteriores

Para ser compatibles con el catálogo de Unity, los clústeres de trabajo que usan Databricks Runtime 11.1 y versiones posteriores creados a través de la interfaz de usuario de trabajos o la API de trabajos tendrán como valor predeterminado el modo de acceso de usuario único. El modo de acceso de usuario único admite la mayoría de los lenguajes de programación, las características del clúster y las características de gobernanza de datos. Todavía puede configurar el modo de acceso estándar (anteriormente modo de acceso compartido) a través de la interfaz de usuario o la API, pero es posible que los idiomas o características estén limitados.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • filelock de 3.6.0 a 3.7.1
    • plotly: de 5.6.0 a 5.8.2
    • protobuf de 3.20.1 a 4.21.2
  • Bibliotecas de R actualizadas:
    • chron de 2.3-56 a 2.3-57
    • DBI de 1.1.2 a 1.1.3
    • dbplyr de 2.1.1 a 2.2.0
    • e1071 de 1.7-9 a 1.7-11
    • future de 1.25.0 a 1.26.1
    • globales de 0.14.0 a 0.15.1
    • hardhat de 0.2.0 a 1.1.0
    • ipred de 0.9-12 a 0.9-13
    • openssl de 2.0.0 a 2.0.2
    • parallelly de 1.31.1 a 1.32.0
    • processx de 3.5.3 a 3.6.1
    • progressr de 0.10.0 a 0.10.1
    • proxy de 0.4-26 a 0.4-27
    • ps de 1.7.0 a 1.7.1
    • randomForest de 4.7-1 a 4.7-1.1
    • roxygen2 de 7.1.2 a 7.2.0
    • Rserve de 1.8-10 a 1.8-11
    • RSQLite de 2.2.13 a 2.2.14
    • sparklyr de 1.7.5 a 1.7.7
    • tinytex de 0.38 a 0.40
    • usethis de 2.1.5 a 2.1.6
    • xfun de 0.30 a 0.31
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Apache Spark

Databricks Runtime 11.2 incluye Apache Spark 3.3.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 11.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-40054] [SQL] Restauración de la sintaxis de control de errores de try_cast()
  • [SPARK-39489] [CORE] Mejora del rendimiento de JsonProtocol del registro de eventos mediante Jackson en lugar de Json4s
  • [SPARK-39319] [CORE][sql] Crear contextos de consulta como parte de SparkThrowable
  • [SPARK-40085] [SQL] Uso de la clase de error INTERNAL_ERROR en lugar de IllegalStateException para indicar errores
  • [SPARK-40001] [SQL] Hacer que las escrituras de NULL en las columnas JSON DEFAULT escriban "null" en el almacenamiento
  • [SPARK-39635] [SQL] Compatibilidad con métricas de controladores en la API de métricas personalizadas de DS v2
  • [SPARK-39184] [SQL] Control de la matriz de resultados infradimensionada en secuencias de fecha y marca de tiempo
  • [SPARK-40019] [ SQL] Refactorizar el comentario del containsNull de ArrayType y reestructurar las lógicas erróneas en la expresión de collectionOperator sobre containsNull
  • [SPARK-39989] [SQL] Compatibilidad con estadísticas de columna de estimación si es una expresión plegable
  • [SPARK-39926] [SQL] Corrección de errores en la compatibilidad con la columna DEFAULT para exámenes de Parquet no vectorizados
  • [SPARK-40052] [SQL] Control de búferes de bytes directos en VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Corrección del tipo de intervalo de destino en errores de desbordamiento de conversión
  • [SPARK-39835] [SQL] Corrección de EliminateSorts de eliminación de la ordenación global debajo de la ordenación local
  • [SPARK-40002] [SQL] No empuje hacia abajo el límite a través de la ventana utilizando ntile
  • [SPARK-39976] [SQL] ArrayIntersect debe controlar null en la primera expresión correctamente
  • [SPARK-39985] [SQL] Habilitación de valores de columna DEFAULT implícitos en inserciones de DataFrames
  • [SPARK-39776] [SQL] JOIN La cadena detallada debe agregar el tipo de unión.
  • [SPARK-38901] [SQL] DS V2 admite la delegación de las funciones misc
  • [SPARK-40028] [SQL][seguimiento] Mejorar ejemplos de funciones de cadena
  • [SPARK-39983] [CORE][sql] No almacenar en caché las relaciones de difusión no serializadas en el controlador
  • [SPARK-39812] [SQL] Simplificación del código que construye AggregateExpression con toAggregateExpression
  • [SPARK-40028] [SQL] Adición de ejemplos binarios para expresiones de cadena
  • [SPARK-39981] [SQL] Se produce la excepción QueryExecutionErrors.castingCauseOverflowErrorInTableInsert en Cast
  • [SPARK-40007] [PYTHON][sql] Agregar 'mode' a las funciones
  • [SPARK-40008] [SQL] Compatibilidad con la conversión de enteros a intervalos ANSI
  • [SPARK-40003] [PYTHON][sql] Agregar "mediana" a las funciones
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand debe volver a almacenar en caché la relación de resultados
  • [SPARK-39951] [SQL] Actualización de la comprobación de columnas Parquet V2 para campos anidados
  • [SPARK-39775] [CORE][avro] Deshabilitar validar los valores predeterminados al analizar esquemas avro
  • [SPARK-33236] [shuffle] Portabilidad con versión anterior de DBR 11.x: Habilitar el servicio Shuffle basado en inserciones para almacenar el estado en la BD de nivel NM para reinicio con conservación del trabajo
  • [SPARK-39836] [SQL] Simplificación de V2ExpressionBuilder mediante el método común
  • [SPARK-39867] [SQL] El límite global no debe heredar OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Quitar OptimizeLimitZero y combinarlo en EliminateLimits
  • [SPARK-39961] [SQL] DS V2 delega la traducción de Cast si la conversión es segura
  • [SPARK-39872] [SQL] Cambio para usar BytePackerForLong#unpack8Values con la API de entrada de matriz en VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Eliminación de AliasHelper o PredicateHelper innecesarios para algunas reglas
  • [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Aplicar proyección cuando los atributos de grupo están vacíos
  • [SPARK-39900] [SQL] Abordar la condición parcial o negada en el empuje de predicados del formato binario
  • [SPARK-39904] [SQL] Cambio de nombre de inferDate a prefersDate y aclaración de la semántica de la opción en el origen de datos CSV
  • [SPARK-39958] [SQL] Adición del registro de advertencias cuando no se puede cargar el objeto de métrica personalizado
  • [SPARK-39936] [SQL] Almacenamiento del esquema en las propiedades de las vistas de Spark
  • [SPARK-39932] [SQL] WindowExec debe borrar el búfer de partición final
  • [SPARK-37194] [SQL] Evite la ordenación innecesaria en la escritura v1 si no es una partición dinámica.
  • [SPARK-39902] [SQL] Adición de detalles del examen al nodo de examen del plan de Spark en SparkUI
  • [SPARK-39865] [SQL] Mostrar mensajes de error adecuados en los errores de desbordamiento de la inserción de tabla
  • [SPARK-39940] [SS] Actualización de la tabla de catálogo en la consulta de streaming con el receptor DSv1
  • [SPARK-39827] [SQL] Uso de la clase de error ARITHMETIC_OVERFLOW en desbordamiento de int en add_months()
  • [SPARK-39914] [SQL] Adición de filtro de DS V2 a la conversión de filtro V1
  • [SPARK-39857] [SQL] Portabilidad manual con la versión anterior de DBR 11.x: V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In 43454
  • [SPARK-39840] [SQL][python] Factorizar PythonArrowInput como una simetría de PythonArrowOutput
  • [SPARK-39651] [SQL] Eliminación de la condición de filtro si la comparación con rand es determinista
  • [SPARK-39877] [PYTHON] Adición de anulación de dinamización a la API de DataFrame de PySpark
  • [SPARK-39847] [WARMFIX][ss] Corregir la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el hilo que llama
  • [SPARK-39909] [SQL] Organizar la comprobación de la información de inserción para JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Incluir las estadísticas y restricciones de origen para LogicalRDD si procede de DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) rellena las nuevas columnas que faltan con un valor NULL
  • [SPARK-39860] [SQL] Más expresiones deberían extender Predicate
  • [SPARK-39823] [SQL][python] Cambiar el nombre de Dataset.as como Dataset.to y agregar DataFrame.to en PySpark
  • [SPARK-39918] [SQL][minor] Reemplace la palabra "un-comparable" por "incomparable" en el mensaje de error
  • [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder usa el tipo de datos LiteralValue incorrecto para el predicado In
  • [SPARK-39862] [ SQL] Backport manual para PR 43654 destinado a DBR 11.x: Actualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir o denegar ALTER TABLE ... Agrega los comandos COLUMN por separado.
  • [SPARK-39844] [SQL] Portabilidad manual con versiones anteriores para PR 43652 con destino en DBR 11.x
  • [SPARK-39899] [SQL] Corrección del paso de parámetros de mensaje a InvalidUDFClassException
  • [SPARK-39890] [SQL] Hacer que TakeOrderedAndProjectExec herede AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Compatibilidad con CharType en PySpark
  • [SPARK-38864] [SQL] Adición de unpivot/melt al conjunto de datos
  • [SPARK-39864] [SQL] Registro diferido de ExecutionListenerBus
  • [SPARK-39808] [SQL] Compatibilidad con la función de agregado MODE
  • [SPARK-39839] [SQL] Control del caso especial de decimales de longitud variable null con offsetAndSize distinto de cero en la comprobación de integridad estructural UnsafeRow
  • [SPARK-39875] [SQL] Cambio de método protected en la clase final a private o package-visible
  • [SPARK-39731] [SQL] Corrección del problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
  • [SPARK-39805] [SS] Desuso de Trigger.Once e inclusión de Trigger.AvailableNow
  • [SPARK-39784] [SQL] Colocar los valores literales en el lado derecho del filtro del origen de datos después de traducir la expresión de Catalyst al filtro de origen de datos
  • [SPARK-39672] [SQL] [3.1] Corrección de la eliminación del proyecto antes del filtro con subconsulta correlacionada
  • [SPARK-39552] [SQL] Unify v1 y v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] El acceso a _metadata en una tabla con particiones puede bloquear una consulta
  • [SPARK-39810] [SQL] Catalog.tableExists debe controlar el espacio de nombres anidado
  • [SPARK-37287] [SQL] Extraer la partición dinámica y la ordenación de cubos de FileFormatWriter
  • [SPARK-39469] [SQL] Inferencia del tipo de fecha para la inferencia de esquema CSV
  • [SPARK-39148] [ SQL] La inserción de agregados de DS V2 puede funcionar con OFFSET o LIMIT
  • [SPARK-39818] [SQL] Corrección del error en los tipos ARRAY, STRUCT, MAP con valores DEFAULT con campos NULL
  • [SPARK-39792] [SQL] Adición de DecimalDivideWithOverflowCheck para el promedio decimal
  • [SPARK-39798] [SQL] Sustitución de toSeq.toArray por .toArray[Any] en el constructor de GenericArrayData
  • [SPARK-39759] [SQL] Implementación de listIndexes en JDBC (dialecto H2)
  • [SPARK-39385] [SQL] Admite la inserción REGR_AVGX y REGR_AVGY
  • [SPARK-39787] [SQL] Uso de la clase de error en el error de análisis de la función to_timestamp
  • [SPARK-39760] [PYTHON] Compatibilidad con Varchar en PySpark
  • [SPARK-39557] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Compatibilidad con los tipos ARRAY, STRUCT y MAP como valores predeterminados
  • [SPARK-39758] [SQL] [3.3] Corrección de NPE desde las funciones regexp en patrones no válidos
  • [SPARK-39749] [SQL] Modo SQL ANSI: usar la representación de cadena sin formato en la conversión decimal a cadena
  • [SPARK-39704] [SQL] Implementación de createIndex dropIndex indexExists en JDBC (dialecto H2)
  • [SPARK-39803][SQL] Uso de LevenshteinDistance en lugar de StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Compatibilidad con el tipo TimestampNTZ en el origen del archivo de JDBC
  • [SPARK-39781] [SS] Se ha agregado compatibilidad para proporcionar max_open_files al proveedor de almacenes de estado de rocksdb
  • [SPARK-39719] [R] Implementación de databaseExists/getDatabase de SparkR admitan espacios de nombres de 3 capas
  • [SPARK-39751] [SQL] Cambio de nombre de la métrica de sondeos de clave de agregado hash
  • [SPARK-39772] [SQL] El espacio de nombres debe ser NULL cuando la base de datos es null en los constructores antiguos
  • [SPARK-39625] [SPARK-38904][sql] Agregar Dataset.as(StructType)
  • [SPARK-39384] [SQL] Compilación de funciones de agregado de regresión lineal integradas para el dialecto JDBC
  • [SPARK-39720] [R] Implementación de tableExists/getTable de SparkR para espacios de nombres de 3 capas
  • [SPARK-39744] [SQL] Adición de la función REGEXP_INSTR
  • [SPARK-39716] [R] Hacer que currentDatabase/setCurrentDatabase/listCatalogs en SparkR admitan espacios de nombres de 3 capas
  • [SPARK-39788] [SQL] Cambio de nombre de catalogName a dialectName para JdbcUtils
  • [SPARK-39647] [CORE] Registro del ejecutor con ESS antes de registrar BlockManager
  • [SPARK-39754] [CORE][sql] Eliminar componentes sin usar o elementos innecesarios import
  • [SPARK-39706] [SQL] Definición de la columna que falta con defaultValue como constante en ParquetColumnVector
  • [SPARK-39699] [SQL] Hacer que CollapseProject sea más inteligente para las expresiones de creación de colecciones
  • [SPARK-39737] [SQL] PERCENTILE_CONT y PERCENTILE_DISC debe admitir el filtro de agregado
  • [SPARK-39579] [SQL][python][R] Hacer que ListFunctions/getFunction/functionExists sea compatible con espacios de nombres de 3 capas
  • [SPARK-39627] [SQL] La delegación JDBC V2 debe unificar la API de compilación
  • [SPARK-39748] [SQL][ss] Incluir el plan lógico de origen para LogicalRDD si procede de DataFrame
  • [SPARK-39385] [SQL] Traducción de funciones de agregado de regresión lineal para la delegación
  • [SPARK-39695] [SQL] Adición de la función REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Adición de otra solución alternativa cuando no haya suficiente memoria para compilar y difundir la tabla
  • [SPARK-39666] [ES-337834][sql] Use UnsafeProjection.create para respetar en spark.sql.codegen.factoryMode ExpressionEncoder
  • [SPARK-39643] [SQL] Prohibir expresiones de subconsulta en valores predeterminados
  • [SPARK-38647] [SQL] Adición de la combinación SupportsReportOrdering en la interfaz para Scan (DataSourceV2)
  • [SPARK-39497][SQL] Mejora de la excepción de análisis de la columna de clave de asignación que falta
  • [SPARK-39661] [SQL] Evitar crear el registrador de SLF4J innecesario
  • [SPARK-39713] [SQL] Modo ANSI: agregar sugerencia de uso de try_element_at para el error INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] DS V2 admite la delegación de las funciones de fecha y hora
  • [SPARK-39638] [SQL] Cambio para usar ConstantColumnVector para almacenar columnas de partición en OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Limpieza de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
  • [SPARK-39231] [SQL] Uso de ConstantColumnVector en lugar de On/OffHeapColumnVector para almacenar columnas de partición en VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog no debe iniciar NoSuchDatabaseException en loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evitar assertionError en AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Reprocesar MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec debe respetar el orden de salida secundario
  • [SPARK-39606] [SQL] Uso de estadísticas secundarias para calcular el operador de orden
  • [SPARK-39611] [PYTHON][ps] Corregir alias incorrectos en array_ufunc
  • [SPARK-39656] [SQL] [3.3] Corrección de un espacio de nombres incorrecto en DescribeNamespaceExec
  • [SPARK-39675] [SQL] Cambiar la configuración "spark.sql.codegen.factoryMode" de la finalidad de las pruebas al propósito interno
  • [SPARK-39139] [SQL] DS V2 admite la delegación de DS V2 UDF
  • [SPARK-39434][SQL] Proporcionar contexto de consulta de error en tiempo de ejecución cuando el índice de matriz está fuera del límite
  • [SPARK-39479] [SQL] DS V2 admite la delegación de funciones matemáticas (no ANSI)
  • [SPARK-39618] [SQL] Adición de la función REGEXP_COUNT
  • [SPARK-39553] [ CORE] El orden aleatorio de varios subprocesos no debe iniciar NPE al usar Scala 2.13
  • [SPARK-38755] [PYTHON] [3.3] Adición de un archivo para abordar las funciones generales de Pandas que faltan
  • [SPARK-39444] [SQL] Adición de OptimizeSubqueries a la lista nonExcludableRules
  • [SPARK-39316] [SQL] Combinación de PromotePrecision y CheckOverflow en aritmética binaria decimal
  • [SPARK-39505] [UI] Contenido de registro de escape representado en la interfaz de usuario
  • [SPARK-39448] [SQL] Adición de ReplaceCTERefWithRepartition a la lista nonExcludableRules
  • [SPARK-37961] [SQL] Invalidación de maxRows/maxRowsPerPartition para algunos operadores lógicos
  • [SPARK-35223] Reversión de adición de IssueNavigationLink
  • [SPARK-39633] [SQL] Compatibilidad con marca de tiempo en segundos para TimeTravel mediante opciones de trama de datos
  • [SPARK-38796] [SQL] Documentación de actualización de cadenas de formato numérico con las funciones {try_}to_number
  • [SPARK-39650] [SS] Corrección del esquema de valores incorrecto en la desduplicación de streaming con compatibilidad con versiones anteriores
  • [SPARK-39636] [CORE][ui] Corregir varios errores en JsonProtocol, lo que afecta al montón StorageLevels y Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Devuelve ELEMENT_AT_BY_INDEX_ZERO desde element_at(*, 0)
  • [SPARK-39349] Adición de un método CheckError centralizado para QA de ruta de acceso de error
  • [SPARK-39453] [SQL] DS V2 admite la delegación de funciones no de agregado misc (no ANSI)
  • [SPARK-38978] [SQL] DS V2 admite el operador de push down OFFSET
  • [SPARK-39567] [SQL] Compatibilidad con intervalos ANSI en las funciones de percentil
  • [SPARK-39383] [SQL] Soporte para columnas DEFAULT en ALTER TABLE ALTER en orígenes de datos V2
  • [SPARK-39396] [SQL] Corrección de la excepción de inicio de sesión LDAP 'código de error 49: credenciales no válidas'
  • [SPARK-39548] [SQL] Comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada
  • [SPARK-39575][AVRO] agregar ByteBuffer#rewind después de ByteBuffer#get en Avr…
  • [SPARK-39543] La opción de DataFrameWriterV2 debe pasarse a las propiedades de almacenamiento si se revierte a v1
  • [SPARK-39564] [SS] Exposición de la información de la tabla de catálogo al plan lógico en la consulta de streaming.
  • [SPARK-39582] [SQL] Corrección del marcador "Since" para array_agg
  • [SPARK-39388] [SQL] Reutilización de orcSchema al delegar predicados Orc
  • [SPARK-39511] [SQL] Mejora del límite 1 local para el lado derecho de la semi/anti combinación izquierda si la condición de combinación está vacía
  • [SPARK-38614] [SQL] No pase el límite en la ventana que utiliza percent_rank
  • [SPARK-39551] [SQL] Adición de la comprobación de planes no válidos de AQE
  • [SPARK-39383] [SQL] Soporte para columnas DEFAULT en ALTER TABLE AGREGAR COLUMNS a orígenes de datos V2
  • [SPARK-39538] [SQL] Evitar crear el registrador de SLF4J innecesario
  • [SPARK-39383] [SQL] Compatibilidad manual con la versión anterior de DBR 11.x: Refactorización con la compatibilidad con la columna DEFAULT para omitir el paso del analizador principal
  • [SPARK-39397] [SQL] Relajación de AliasAwareOutputExpression para admitir alias con expresión
  • [SPARK-39496] [SQL] Controlar la estructura null en Inline.eval
  • [SPARK-39545] [SQL] Invalidación del método concat para ExpressionSet en Scala 2.13 para mejorar el rendimiento
  • [SPARK-39340] [SQL] La delegación de agregado de DS v2 debe permitir puntos en el nombre de las columnas de nivel superior
  • [SPARK-39488] [SQL] Simplificación del control de errores de TempResolvedColumn
  • [SPARK-38846] [SQL] Adición de la asignación de datos explícita entre el tipo numérico de Teradata y DecimalType de Spark
  • [SPARK-39520] [SQL] Invalidación del método -- para ExpressionSet en Scala 2.13
  • [SPARK-39470] [SQL] Compatibilidad con la conversión de intervalos ANSI a decimales
  • [SPARK-39477] [SQL] Quitar la información "Número de consultas" de los archivos dorados de SQLQueryTestSuite
  • [SPARK-39419] [SQL] Se ha corregido el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo
  • [SPARK-39061] [SQL] Establecimiento correcto de valores NULL para atributos de salida Inline
  • [SPARK-39320] [SQL] Compatibilidad con la función de agregado MEDIAN
  • [SPARK-39261] [CORE] Mejora del formato de nueva línea para los mensajes de error
  • [SPARK-39355] [SQL] Una sola columna usa comillas para construir UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE debería ocultar las propiedades
  • [SPARK-37623] [SQL] Compatibilidad con la función de agregado ANSI: regr_intercept
  • [SPARK-39374] [SQL] Mejora del mensaje de error para la lista de columnas especificada por el usuario
  • [SPARK-39255] [SQL] [3.3] Mejorar los mensajes de error
  • [SPARK-39321] [SQL] Refactorización de TryCast para usar RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Aceptar matriz NumPy en createDataFrame
  • [SPARK-39267] [SQL] Limpieza de símbolos innecesarios de dsl
  • [SPARK-39171] [SQL] Unificar la expresión Cast
  • [SPARK-28330] [SQL] Compatibilidad con ANSI SQL: cláusula de desplazamiento de resultados en la expresión de consulta
  • [SPARK-39203] [SQL] Reescribir la ubicación de la tabla en un URI absoluto basado en el URI de la base de datos
  • [SPARK-39313] [SQL] toCatalystOrdering debe producir un error si no se puede traducir V2Expression
  • [SPARK-39301] [SQL][python] Aprovechar LocalRelation y respetar el tamaño del lote de Arrow en createDataFrame con optimización de Arrow
  • [SPARK-39400] [SQL] spark-sql debe quitar el dir de recursos de Hive en todos los casos

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 11.1.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 generador asíncrono 1.10
atributos 21.2.0 llamada de retorno 0.2.0 backports.entry-points-selectable 1.1.1
negro 22.3.0 blanquear 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 Haz clic 8.0.3
criptografía 3.4.8 ciclista 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorador 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
puntos de entrada 0,3 visión general de las facetas 1.0.0 bloqueo de archivos 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 Cliente Jupyter 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
Mal sintonizado 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
cuaderno 6.4.5 numpy 1.20.3 empaquetado 21,0
Pandas 1.3.4 PandocFiltros 1.4.3 parso 0.8.2
pathspec 0.9.0 chivo expiatorio 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Almohada 8.4.0 pepita 21.2.4
platformdirs 2.5.2 trazado 5.9.0 Cliente-Prometeo 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 Solicitudes 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
biblioteca de visualización de datos de Python llamada seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six (seis) 1.16.0 ssh-import-id 5.10 statsmodels (paquete de Python para análisis estadístico) 0.12.2
tenacidad 8.0.1 terminado 0.9.4 ruta de prueba 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 extensiones de escritura 3.10.0.2
actualizaciones desatendidas 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 codificaciones web 0.5.1 rueda 0.37.0
widgetsnbextension 3.6.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 15-08-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 asegúrate de que 0.2.1 retroportaciones 1.4.1
base 4.1.3 base64enc 0.1-3 poco 4.0.4
bit 64 4.0.5 mancha 1.2.3 bota 1.3-28
fermentar 1.0-7 Brio 1.1.3 escoba 1.0.0
bslib 0.4.0 cachemir 1.0.6 callr 3.7.1
cursor 6.0-93 cellranger (herramienta de análisis de datos celulares) 1.1.0 Chron 2.3-57
clase 7.3-20 Cli 3.3.0 clipr 0.8.0
conglomerado 2.1.3 codetools 0.2-18 espacio de colores 2.0-3
commonmark 1.8.0 compilador 4.1.3 configuración 0.3.1
cpp11 0.4.2 crayón 1.5.1 credenciales 1.3.2
rizo 4.3.2 tabla de datos 1.14.2 conjuntos de datos 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Descripción 1.4.1
devtools 2.4.4 diffobj 0.3.5 digerir 0.6.29
iluminado hacia abajo 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 elipsis 0.3.2 evaluar 0,16
fans 1.0.3 colores 2.1.1 mapa rápido 1.1.0
fontawesome 0.3.0 convictos 0.5.1 foreach 1.5.2
extranjero 0.8-82 fragua 0.2.0 Fs 1.5.2
futuro 1.27.0 aplicación futura 1.9.0 hacer gárgaras 1.2.0
genéricos 0.1.3 Gert 1.7.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globales 0.16.0 pegamento 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 elementos gráficos 4.1.3
grDevices 4.1.3 rejilla 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Casco 1.2.0
refugio 2.5.0 más alto 0.9 HMS 1.1.1
herramientas de HTML 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 Identificadores 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
tejido 1,39 etiquetado 0.4.2 más tarde 1.3.0
retícula 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Formato Markdown 1.1 MASA 7.3-56 Matriz 1.4-1
memorizar 2.0.1 métodos 4.1.3 mgcv 1.8-40
mimo 0,12 miniUI (Interfaz de Usuario) 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl (software de cifrado) 2.0.2
paralelo 4.1.3 Paralelamente 1.32.1 pilar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
elogio 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progreso 1.2.2 progressr 0.10.1 promesas 1.2.0.1
prototipo 1.0.0 intermediario 0.4-27 P.D 1.7.1
ronroneo 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 Bosque Aleatorio (randomForest) 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recetas 1.0.1 partido de revancha 1.0.1 segunda revancha 2.1.2
Telecontroles 2.4.2 ejemplo reproducible 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.2
balanzas 1.2.0 selectr 0.4-2 información de sesión 1.2.2
forma 1.4.6 brillante 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 espacial 7.3-11
Tiras 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Estadísticas 4.1.3 estadísticas4 4.1.3 stringi 1.7.8
stringr 1.4.0 supervivencia 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
Formateo de texto 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 fechaHora 4021.104
tinytex 0.40 herramientas 4.1.3 tzdb 0.3.0
verificador de URL 1.0.1 usa esto 2.1.6 utf8 1.2.2
utilidades 4.1.3 Identificador Único Universal (UUID) 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
bigotes 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 cremallera 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws SDK de AWS para Java - Soporte 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger perfilador 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics núcleo de métricas 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas y verificaciones de salud 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus cliente_simple_común 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolución javolución 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine escabeche 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lanzador de aplicaciones Ant 1.9.2
org.apache.arrow formato de flecha 7.0.0
org.apache.arrow núcleo de memoria de flecha 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow vector de flecha 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curador-cliente 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curador-recetas 2.13.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop hadoop-cliente-api 3.3.2-databricks
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API de almacenamiento de hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy hiedra 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc calzos de orco 1.7.5
org.apache.parquet parquet-columna 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet codificación de parquet 1.12.0-databricks-0004
org.apache.parquet estructuras-de-formato-parquet 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotaciones de audiencia 0.5.0
org.apache.zookeeper guardián de zoológico 3.6.2
org.apache.zookeeper Zookeeper-Jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty Seguridad de Jetty 9.4.46.v20220331
org.eclipse.jetty servidor Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplicación web de Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket cliente de websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket servidor de websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de contenedor de Jersey 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator validador de hibernación 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Cuñas 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark no utilizado 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on