Databricks Runtime 11.3 LTS

  • Artículo

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 11.3 LTS, con tecnología de Apache Spark 3.3.0. Databricks publicó estas imágenes en octubre de 2022.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Nuevas características y mejoras

Desencadenador de Structured Streaming una vez en desuso

La configuración Trigger.Once está en desuso. Databricks recomienda usar Trigger.AvailableNow. Vea Configurar intervalos del desencadenador de Structured Streaming.

Cambio de la ruta de acceso de origen para el cargador automático

Ahora puede cambiar la ruta de acceso de entrada del directorio para el cargador automático configurado con el modo de lista de directorios sin tener que elegir un nuevo directorio de punto de control. Vea Cambiar la ruta de acceso de origen para el cargador automático.

Ahora, el conector de Databricks Kinesis admite la lectura de flujos de Kinesis Data en modo EFO

Ahora puede usar el origen de flujo estructurado de Databricks Kinesis en Databricks Runtime 11.3 LTS para ejecutar consultas que leen desde flujos de Kinesis Data en modo de distribución ramificada mejorada. Esto permite el rendimiento dedicado por partición, por consumidor y la entrega de registros en modo de inserción.

Nuevas funciones geoespaciales H3 y compatibilidad con Photon agregada para todas las funciones H3

Presentación de cuatro nuevas funciones H3: h3_maxchild, h3_minchild, h3_pointash3 y h3_pointash3string. Estas funciones están disponibles en SQL, Scala y Python. Todas las expresiones H3 ahora se admiten en Photon. Consulte funciones geoespaciales H3

Nuevas características para E/S predictivas

Photon admite el modo de intervalo para ejecutar fotogramas, mediante RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon también admite el modo de rango para los fotogramas de crecimiento, mediante RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumento de las particiones iniciales para examinar consultas selectivas

El valor de las particiones iniciales que se van a examinar ha aumentado a 10 para consultas selectivas con take/tail/limit en clústeres habilitados para Photon y LIMIT en Databricks SQL. Con 10 particiones, puede evitar la sobrecarga al iniciar varios trabajos pequeños y un escalado vertical lento. También puede configurar esta opción mediante spark.sql.limit.selectiveInitialNumPartitions.

Visualización de las nuevas versiones del plan de AQE

Introducción a las versiones del plan de AQE que le permiten visualizar las actualizaciones del plan en tiempo de ejecución desde la ejecución de consultas adaptables (AQE).

Nuevos modos de seguimiento de progreso asincrónico y purga de registros

Introducción a los modos de Structured Streaming denominados seguimiento de progreso asincrónico y purga de registros asincrónica. El modo de purga de registros asincrónica reduce la latencia de las consultas de streaming mediante la eliminación de los registros usados para el seguimiento de progreso en segundo plano.

Structured Streaming en el catálogo de Unity ahora admite display()

Ahora puede usar display() cuando use Structured Streaming para trabajar con tablas registradas en el catálogo de Unity.

Los eventos de canalización ahora se registran en formato JSON

Azure Databricks ahora escribe los eventos de canalización en el registro del controlador en formato JSON. Si bien cada evento será analizable mediante JSON, es posible que los eventos grandes no contengan todos los campos o que los campos estén truncados. Cada evento se registra en una sola línea con el prefijo Event received: . A continuación, se muestra un ejemplo de evento.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Procesamiento con estado arbitrario en Structured Sreaming con Python

Introducción a la función applyInPandasWithState que se puede usar para realizar un procesamiento con estado arbitrario en PySpark. Esto equivale a la función flatMapGroupsWithState de la API de Java.

Inferencia de fechas en los archivos CSV

Introducción a la inferencia mejorada de columnas de tipo de fecha en los archivos CSV. Cuando el formato de fecha es coherente en los registros de una columna, esas columnas se pueden inferir como DateType. También puede tener una combinación de formatos de fecha en distintas columnas. Azure Databricks puede inferir automáticamente el formato de fecha para cada columna. Las columnas de fecha de los archivos CSV anteriores a Databricks Runtime 11.3 se dejan como StringType.

Compatibilidad de clonación con tablas de Apache Parquet y Apache Iceberg (versión preliminar pública)

El clon ahora se puede usar para crear y actualizar incrementalmente tablas Delta que reflejan las tablas de Apache Parquet y Apache Iceberg. Puede actualizar la tabla de Parquet de origen y aplicar incrementalmente los cambios a su tabla Delta clonada con el comando de clonación. Consulte Clonación incremental de tablas de Parquet e Iceberg en Delta Lake.

Uso de SQL para especificar ubicaciones de almacenamiento de nivel de catálogo y esquema para tablas administradas por el catálogo de Unity

Ahora puede usar el comando MANAGED LOCATION de SQL para especificar una ubicación de almacenamiento en la nube para las tablas administradas en los niveles de catálogo y esquema. Consulte CREATE CATALOG y CREATE SCHEMA.

Cambios de comportamiento

Databricks Connect 11.3.2

Ahora se admite la actualización de cliente de Databricks Connect 11.3.2. Consulte Databricks Connect y las notas de la versión de Databricks Connect.

Se ha actualizado el conector de Snowflake de Azure Databricks

El conector de Snowflake de Azure Databricks se ha actualizado a la versión más reciente del código del repositorio de código abierto, Snowflake Data Source for Apache Spark. Ahora es totalmente compatible con Databricks Runtime 11.3 LTS, incluida la delegación de predicado y la inserción interna del plan de consulta, a la vez que mantiene todas las características de la versión de código abierto.

Ahora, la caché Hadoop para S3A está deshabilitada

La caché de Hadoop (FileSystem API de Apache Hadoop Main 3.3.4) para S3A ahora está deshabilitada. Gracias a esto, puede alinearse con otros conectores de almacenamiento en la nube. En el caso de las cargas de trabajo que dependen del almacenamiento en caché del sistema de archivos, asegúrese de que los sistemas de archivos que estén recién creados se proporcionen con las configuraciones correctas de Hadoop, incluidos los proveedores de credenciales.

El esquema de colección de estadísticas de Delta Lake ahora coincide con el orden de columna en la definición del esquema de tabla

Este cambio soluciona un error en el protocolo de Delta Lake por el que las estadísticas no se recopilaban para las columnas debido a un error de coincidencia en DataFrame y a la ordenación de las columnas de la tabla. En algunos casos, es posible que encuentre una degradación del rendimiento de escritura debido a la recopilación de estadísticas en campos de los que anteriormente no se realizaba un seguimiento. Consulte Omisión de datos para Delta Lake.

applyInPandasWithState produce un error si la consulta tiene un orden aleatorio después del operador

El operador applyInPandasWithState produce un error si la consulta tiene shuffle después del operador. Esto sucede cuando el usuario agrega shuffle después de la operación, o cuando el optimizador o receptor agrega shuffle implícitamente.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • distlib: de 0.3.5 a 0.3.6
  • Bibliotecas de R actualizadas:
    • broom: de 1.0.0 a 1.0.1
    • callr: de 3.7.1 a 3.7.2
    • dplyr: de 1.0.9 a 1.0.10
    • dtplyr: de 1.2.1 a 1.2.2
    • forcats: de 0.5.1 a 0.5.2
    • future: de 1.27.0 a 1.28.0
    • future.apply: de 1.9.0 a 1.9.1
    • gert: de 1.7.0 a 1.8.0
    • globals: de 0.16.0 a 0.16.1
    • gtable: de 0.3.0 a 0.3.1
    • haven: de 2.5.0 a 2.5.1
    • hms: de 1.1.1 a 1.1.2
    • httr: de 1.4.3 a 1.4.4
    • knitr: de 1.39 a 1.40
    • modelr: de 0.1.8 a 0.1.9
    • pillar: de 1.8.0 a 1.8.1
    • progressr: de 0.10.1 a 0.11.0
    • readxl: de 1.4.0 a 1.4.1
    • reprex: de 2.0.1 a 2.0.2
    • rlang: de 1.0.4 a 1.0.5
    • rmarkdown: de 2.14 a 2.16
    • RSQLite: de 2.2.15 a 2.2.16
    • rstudioapi: de 0.13 a 0.14
    • rversions: de 2.1.1 a 2.1.2
    • rvest: de 1.0.2 a 1.0.3
    • scales: de 1.2.0 a 1.2.1
    • sparklyr: de 1.7.7 a 1.7.8
    • stringr: de 1.4.0 a 1.4.1
    • survival: de 3.2-13 a 3.4-0
    • tinytex: de 0.40 a 0.41
    • viridisLite: de 0.4.0 a 0.4.1
  • Bibliotecas de Java actualizadas:
    • com.fasterxml.jackson.core.jackson-annotations: de 2.13.3 a 2.13.4
    • com.fasterxml.jackson.core.jackson-core: de 2.13.3 a 2.13.4
    • com.fasterxml.jackson.core.jackson-databind: de 2.13.3 a 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor: de 2.13.3 a 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda: de 2.13.3 a 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310: de 2.13.3 a 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer: de 2.13.3 a 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12: de 2.13.3 a 2.13.4
    • org.apache.hadoop.hadoop-client-api: de 3.3.2-databricks a 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime: de 3.3.2 a 3.3.4
    • org.apache.orc.orc-core: de 1.7.5 a 1.7.6
    • org.apache.orc.orc-mapreduce: de 1.7.5 a 1.7.6
    • org.apache.orc.orc-shims: de 1.7.5 a 1.7.6
    • org.apache.parquet.parquet-column: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet: de 2.34 a 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core: de 2.34 a 2.36
    • org.glassfish.jersey.core.jersey-client: de 2.34 a 2.36
    • org.glassfish.jersey.core.jersey-common: de 2.34 a 2.36
    • org.glassfish.jersey.core.jersey-server: de 2.34 a 2.36
    • org.glassfish.jersey.inject.jersey-hk2: de 2.34 a 2.36

Apache Spark

Databricks Runtime 11.3 LTS incluye Apache Spark 3.3.0. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 11.2 (sin soporte técnico), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:

  • [SPARK-39957] [WARMFIX][SC-111425][CORE] Retraso de onDisconnected para habilitar el controlador recibe ExecutorExitCode
  • [SPARK-39955] [WARMFIX][SC-111424][CORE] Mejora del proceso LaunchTask para evitar errores de fase causados por mensajes LaunchTask de error de envío
  • [SPARK-40474] [SC-106248][Cherry-Pick] Corrección del comportamiento de inferencia de esquemas CSV para las columnas datetime e introducción de la detección automática de campos de fecha
  • [SPARK-40535] [SC-111243][SQL] Corrección del error "el búfer de AggregatingAccumulator no se creará si las filas de entrada están vacías"
  • [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Implementación de applyInPandasWithState en PySpark
  • [SPARK-40460] [SC-110832][SS] Corrección de las métricas de streaming al seleccionar _metadata
  • [SPARK-40324] [SC-109943][SQL] Proporcionar un contexto de consulta de ParseException
  • [SPARK-40466] [SC-110899][SS] Mejorar el mensaje de error cuando DSv2 está deshabilitado mientras DSv1 no está disponible
  • [SPARK-40456] [ SC-110848][SQL] Debería ser barato llamar a PartitionIterator.hasNext repetidamente
  • [SPARK-40169] [SC-110772][SQL] No inserte filtros de Parquet sin referencia al esquema de datos
  • [SPARK-40467] [SC-110759][SS] División de FlatMapGroupsWithState en varios conjuntos de pruebas
  • [SPARK-40468] [SC-110813][SQL] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record
  • [SPARK-40291] [SC-110085][SQL] Mejora del mensaje para el error "la columna no está en grupo por cláusula"
  • [SPARK-40398] [SC-110762][CORE][SQL] Uso de Loop en lugar de la API Arrays.stream
  • [SPARK-40433] [SC-110684][SS][PYTHON] Adición de toJVMRow en PythonSQLUtils para convertir la fila de PySpark en fila de JVM
  • [SPARK-40414] [SC-110568][SQL][PYTHON] Tipo más genérico en PythonArrowInput y PythonArrowOutput
  • [SPARK-40352] [SC-109945][SQL] Adición de alias de función: len, datepart, dateadd, date_diff y curdate
  • [SPARK-40470] [SC-110761][SQL] Control de GetArrayStructFields y GetMapValue en la función "arrays_zip"
  • [SPARK-40387] [SC-110685][SQL] Mejora de la implementación de Spark Decimal
  • [SPARK-40429] [SC-110675][SQL] Solo establezca KeyGroupedPartitioning cuando la columna a la que se hace referencia esté en la salida
  • [SPARK-40432] [SC-110716][SS][PYTHON] Introducción de GroupStateImpl y GroupStateTimeout en PySpark
  • [SPARK-39915] [SC-110496][SQL] Asegúrese de que la creación de particiones de salida está especificada por el usuario en AQE
  • [SPARK-29260] [SQL] Compatibilidad con ALTER DATABASE SET LOCATION si HMS lo admite
  • [SPARK-40185] [SC-110056][SQL] Eliminación de la sugerencia de columna cuando la lista de candidatos está vacía
  • [SPARK-40362] [SC-110401][SQL] Corrección de la canonización BinaryComparison
  • [SPARK-40411] [SC-110381][SS] Refactorización de FlatMapGroupsWithStateExec para que tenga un rasgo primario
  • [SPARK-40293] [SC-110084][SQL] Hacer que el mensaje de error de la tabla V2 sea más significativo
  • [SPARK-38734] [SC-110383][SQL] Eliminación de la clase de error INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][SQL] Corrección de nombres de columna en la función "arrays_zip" cuando se hace referencia a matrices desde estructuras anidadas
  • [SPARK-40276] [SC-109674][CORE] Reducción del tamaño del resultado de RDD.takeOrdered
  • [SPARK-40197] [SC-109176][SQL] Reemplazo del plan de consulta por contexto para MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][SQL] Migración a la clase de error DATATYPE_MISMATCH
  • [SPARK-40149] [SC-110055][SQL] Propagación de columnas de metadatos a través de Project
  • [SPARK-40280] [SC-110146][SQL] Adición de compatibilidad con la inserción de Parquet para long e int anotados
  • [SPARK-40220] [SC-110143][SC-109175][SQL] No generación del mapa vacío de los parámetros del mensaje de error
  • [SPARK-40295] [SC-110070][SQL] Admisión de funciones v2 con argumentos literales en distribución y ordenación de escritura
  • [SPARK-40156] [SC-109264][SQL] url_decode() debe devolver una clase de error
  • [SPARK-39195] [SQL] OutputCommitCoordinator de Spark debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
  • [SPARK-40260] [SC-109424][SQL] Uso de clases de error en los errores de compilación de agrupar por una posición
  • [SPARK-40205] [SC-110144][SC-109082][SQL] Aprovisionamiento de un contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][SQL] Mejora de la función TO_BINARY()
  • [SPARK-40209] [SC-109081][SQL] No cambie el valor de intervalo de Decimal en changePrecision() en caso de error
  • [SPARK-40319] [SC-109873][SQL] Eliminación del método de error de ejecución de consultas duplicadas para PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][SQL] try_add/try_divide/try_subtract/try_multiply numérico debe producir un error de sus elementos secundarios
  • [SPARK-40183] [SC-108907][SQL] Uso de la clase de error NUMERIC_VALUE_OUT_OF_RANGE para el desbordamiento en la conversión decimal
  • [SPARK-40180] [SC-109069][SQL] Mensajes de error de formato por spark-sql
  • [SPARK-40153] [SC-109165][SQL] Unificación de funciones de resolución y funciones con valores de tabla
  • [SPARK-40308] [SC-109880][SQL] Admisión de los argumentos de delimitador no plegables en la función str_to_map
  • [SPARK-40219] [SC-110052][SC-109663][SQL] El plan lógico de vista resuelto debe contener el esquema para evitar la búsqueda redundante
  • [SPARK-40098] [SC-109939][SC-108693][SQL] Mensajes de error de formato en el servidor de Thrift
  • [SPARK-39917] [SC-109038][SQL] Uso de diferentes clases de error para el desbordamiento aritmético numérico/de intervalo
  • [SPARK-40033] [SC-109875][SQL] Compatibilidad con la eliminación de esquemas anidados mediante element_at
  • [SPARK-40194] [ SC-109660][SQL] La función SPLIT en regex vacías debe truncar la cadena vacía final
  • [SPARK-40228] [SC-109835][SQL] No simplificación de multiLike si el elemento secundario no es una expresión barata
  • [SPARK-40039] [SC-109896][SC-109260][SS] Introducción a un administrador de archivos de punto de control de streaming basado en la interfaz anulable de Hadoop
  • [SPARK-40285] [SC-109679][SQL] Simplificación de roundTo[Numeric] para Decimal de Spark
  • [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison debe funcionar cuando se produce un error en el literal de conversión a tipo heredado In/InSet
  • [SPARK-40040] [SC-109662][SQL] Inserción del límite local en ambos lados si la condición de combinación está vacía
  • [SPARK-40055] [SC-109075][SQL] listCatalogs también debe devolver spark_catalog incluso cuando la implementación de spark_catalog es defaultSessionCatalog
  • [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) puede no crear particiones N no parte de AQE
  • [SPARK-40207] [SC-109401][SQL] Especificación del nombre de columna cuando el tipo de datos no sea compatible con el origen de datos
  • [SPARK-40245] [SC-109295][SQL] Corrección de la comprobación de igualdad de FileScan cuando no se leen columnas de filtro de datos o partición
  • [SPARK-40113] [SC-109405][SQL] Implementaciones de la interfaz ParquetScanBuilder DataSourceV2 de Reactor
  • [SPARK-40211] [SC-109226][CORE][SQL] Permitir la personalización del número de particiones iniciales en el comportamiento take()
  • [SPARK-40252] [SC-109379][SQL] Reemplazo de Stream.collect(Collectors.joining) por la API de StringJoiner
  • [SPARK-40247] [SC-109272][SQL] Corrección de la comprobación de igualdad de BitSet
  • [SPARK-40067] [SQL] Uso de Table#name() en lugar de Scan#name() para rellenar el nombre de la tabla en el nodo BatchScan en SparkUI
  • [SPARK-39966] [SQL] Uso del filtro V2 en SupportsDelete
  • [SPARK-39607] [SC-109268][SQL][DSV2] La distribución y el orden admiten la función V2 en la escritura
  • [SPARK-40224] [ SC-109271][SQL] Hacer que objectHashAggregateExec libere memoria diligentemente cuando se reserva a la ordenación
  • [SPARK-40013] [SQL] Las expresiones DS V2 deben tener el valor predeterminado toString
  • [SPARK-40214] [SC-109079][PYTHON][SQL] Adición de "get" a las funciones
  • [SPARK-40192] [SC-109089][SQL][ML] Eliminación del groupby redundante
  • [SPARK-40146] [SC-108694][SQL] Simplificación del codegen de obtención del valor de asignación
  • [SPARK-40109][SQL] Nueva función SQL: get()
  • [SPARK-39929] [SQL] DS V2 admite la delegación de las funciones de cadena (no ANSI)
  • [SPARK-39819] [SQL] La inserción de agregado de DS V2 puede funcionar con N o paginación superior (ordenar con expresiones)
  • [SPARK-40213] [SC-109077][SQL] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
  • [SPARK-39764] [SQL] Hacer que PhysicalOperation sea igual que ScanOperation
  • [SPARK-39964] [SQL] La delegación de DS V2 debe unificar la ruta de traducción
  • [SPARK-39528] [SQL] Uso del filtro V2 en SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] Modo ANSI: siempre devuelve null en el acceso no válido a la columna de asignación
  • [SPARK-39912] [SPARK-39828][SQL] Ajustar CatalogImpl
  • [SPARK-39833] [SC-108736][SQL] Deshabilitación del índice de columna de Parquet en DSv1 para corregir un problema de corrección en el caso de que se superpongan las columnas de partición y datos
  • [SPARK-39880] [SQL] El comando SHOW FUNCTIONS V2 debe imprimir el nombre de función calificado como v1
  • [SPARK-39767] [SQL] Eliminación de UnresolvedDBObjectName y adición de UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][SQL] Proeza: SparkSession.config(Map)
  • [SPARK-40136] [SQL] Corrección del fragmento de contextos de consulta SQL
  • [SPARK-40107] [SC-108689][SQL] Extracción de la conversión empty2null de FileFormatWriter
  • [SPARK-40121] [PYTHON][SQL] Inicialización de la proyección usada para UDF de Python
  • [SPARK-40128] [SQL] Hacer que VectorizedColumnReader reconozca DELTA_LENGTH_BYTE_ARRAY como codificación de columna independiente
  • [SPARK-40132] [ML] Restauración de rawPredictionCol a MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][SQL] Mejora de EliminateSorts para admitir la eliminación de órdenes mediante LocalLimit
  • [SPARK-39629] [SQL] Compatibilidad con FUNCIONES SHOW v2
  • [SPARK-39925] [SC-108734][SQL] Adición de la sobrecarga de array_sort(column, comparator) a las operaciones de DataFrame
  • [SPARK-40117] [PYTHON][SQL] Conversión de la condición en java en DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Mejora de la repartición en ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Adición del nombre del catálogo de sesiones para la tabla y función de base de datos v1
  • [SPARK-39889] [SQL] Uso de clases de error diferentes para valores numéricos o intervalos divididos por 0
  • [SPARK-39741] [SQL] Compatibilidad con la codificación o descodificación URL como función integrada y funciones relacionadas con direcciones URL ordenadas
  • [SPARK-40102] [SQL] Uso de SparkException en lugar de IllegalStateException en SparkPlan
  • [SPARK-40014] [SQL] Compatibilidad con la conversión de decimales a intervalos ANSI
  • [SPARK-39776] [SQL][FOLLOW] Actualización de UT de PlanSecuritySuite en modo ANSI
  • [SPARK-39963] [SQL] Simplificación de SimplifyCasts.isWiderCast

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 11.3.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
argon2-cffi 20.1.0 async-generator 1.10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 black 22.3.0
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.3 criptografía 3.4.8
cycler 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
distlib 0.3.6 entrypoints 0,3 facets-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.4.5 numpy 1.20.3
empaquetado 21.0 pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 Solicitudes 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six (seis) 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 08-09-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.1
bslib 0.4.0 cachem 1.0.6 callr 3.7.2
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
clase 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de datos 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.28.0 future.apply 1.9.1 gargle 1.2.0
generics 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 elementos gráficos 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0.9 hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.40 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matriz 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progreso 1.2.2 progressr 0.11.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
scales 1.2.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.1 survival 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,41 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1