Comparteix via

Databricks Runtime 14.0 (EoS)

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 14.0, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en septiembre de 2023.

Nuevas características y mejoras

El seguimiento de filas es GA

El seguimiento de filas de Delta Lake ya está disponible con carácter general. Ver Usar seguimiento de filas para tablas Delta.

La E/S predictiva para las actualizaciones está en disponibilidad general

La E/S predictiva para las actualizaciones ahora está disponible con carácter general. Consulte ¿Qué es la E/S predictiva?.

Los vectores de eliminación son de disponibilidad general

Los vectores de eliminación ahora están disponibles con carácter general. Consulte ¿Qué son los vectores de eliminación?.

Spark 3.5.0 tiene disponibilidad general

Apache Spark 3.5.0 ya está disponible con carácter general. Consulte Versión 3.5.0 de Spark.

Versión preliminar pública para funciones de tabla definidas por el usuario para Python

Las funciones de tabla definidas por el usuario (UDF) permiten registrar funciones que devuelven tablas en lugar de valores escalares. Consulta Funciones de tabla definidas por el usuario de Python (UDTF).

Versión preliminar pública para la simultaneidad de nivel de fila

La simultaneidad de nivel de fila reduce los conflictos entre las operaciones de escritura simultáneas mediante la detección de cambios en el nivel de fila y la resolución automática de cambios en escrituras simultáneas que actualizan o eliminan filas diferentes en el mismo archivo de datos. Vea Conflictos de escritura con simultaneidad de nivel de fila.

El directorio de trabajo actual predeterminado ha cambiado

El directorio de trabajo actual (CWD) predeterminado para el código ejecutado localmente es ahora el directorio que contiene el cuaderno o el script que se está ejecutando. Esto incluye código como %sh y código de Python o R que no usan Spark. Vea ¿Cuál es el directorio de trabajo actual predeterminado?.

Problema conocido con sparklyr

La versión instalada del paquete de sparklyr (versión 1.8.1) no es compatible con Databricks Runtime 14.0. Para usar sparklyr, instale versión 1.8.3 o posterior

Introducción a Spark Connect en la arquitectura de clúster compartido

Con Databricks Runtime 14.0 y versiones posteriores, los clústeres compartidos ahora usan Spark Connect con el controlador de Spark desde el REPL de Python de forma predeterminada. Las API internas de Spark ya no son accesibles desde el código de usuario.

Spark Connect ahora interactúa con el controlador de Spark desde REPL, en lugar de con la integración heredada de REPL.

Enumeración de la actualización de la API de versiones de Spark disponibles

Habilite Photon estableciendo runtime_engine = PHOTONy habilite aarch64 eligiendo un tipo de instancia de graviton. Azure Databricks establece la versión correcta de Databricks Runtime. Anteriormente, la API de versión de Spark devolvía entornos de ejecución específicos de la implementación para cada versión. Consulte GET /api/2.0/clusters/spark-versions en la referencia de la API REST.

Últimos cambios

En Databricks Runtime 14.0 y versiones posteriores, los clústeres con el modo de acceso estándar (anteriormente modo de acceso compartido) usan Spark Connect para la comunicación de cliente-servidor. Esto incluye los siguientes cambios.

Para más información sobre las limitaciones del modo de acceso estándar, consulte Requisitos y limitaciones de proceso estándar.

Python en clústeres con el modo de acceso estándar (anteriormente modo de acceso compartido)

  • sqlContext no está disponible. Azure Databricks recomienda usar la variable spark para la instancia SparkSession.
  • El contexto de Spark (sc) ya no está disponible en cuadernos o cuando se usa Databricks Connect en un clúster con el modo de acceso estándar. Las siguientes funciones sc ya no están disponibles:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
  • La característica de información sobre conjuntos de datos ya no es compatible.
  • Ya no hay ninguna dependencia de la máquina virtual Java al consultar Apache Spark y, como consecuencia, las API internas relacionadas con la máquina virtual Java, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap y _jcols, ya no son compatibles.
  • Al acceder a los valores de configuración mediante spark.conf solo se puede acceder a los valores de configuración de tiempo de ejecución dinámico.
  • Los comandos de análisis de canalizaciones declarativas de Spark de Lakeflow aún no se admiten en clústeres compartidos.

Delta en clústeres con el modo de acceso estándar (anteriormente modo de acceso compartido)

  • En Python, ya no hay ninguna dependencia de máquina virtual Java al consultar Apache Spark. Las API internas relacionadas con la JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuildery DeltaOptimizeBuilder._jbuilder, ya no son compatibles.

SQL en clústeres con el modo de acceso estándar (anteriormente modo de acceso compartido)

  • ya no se admiten comandos DBCACHE ni DBUNCACHE.
  • Casos de uso poco frecuentes como cache table db as show databases ya no se admiten.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • asttokens de 2.2.1 a 2.0.5
    • attrs de 21.4.0 a 22.1.0
    • botocore de 1.27.28 a 1.27.96
    • certifi de 2022.9.14 a 2022.12.7
    • criptografía de 37.0.1 a 39.0.1
    • debugpy de 1.6.0 a 1.6.7
    • docstring-to-Markdown de 0.12 a 0.11
    • ejecución de 1.2.0 a 0.8.3
    • facets-overview de 1.0.3 a 1.1.1
    • googleapis-common-protos de 1.56.4 a 1.60.0
    • grpcio de 1.48.1 a 1.48.2
    • idna de 3.3 a 3.4
    • ipykernel de 6.17.1 a 6.25.0
    • ipython de 8.10.0 a 8.14.0
    • Jinja2 de 2.11.3 a 3.1.2
    • jsonschema de 4.16.0 a 4.17.3
    • jupyter_core de 4.11.2 a 5.2.0
    • kiwisolver de 1.4.2 a 1.4.4
    • MarkupSafe de 2.0.1 a 2.1.1
    • matplotlib de 3.5.2 a 3.7.0
    • nbconvert de 6.4.4 a 6.5.4
    • nbformat de 5.5.0 a 5.7.0
    • nest-asyncio de 1.5.5 a 1.5.6
    • cuaderno de 6.4.12 a 6.5.2
    • numpy de 1.21.5 a 1.23.5
    • empaquetado de 21.3 a 22.0
    • pandas de 1.4.4 a 1.5.3
    • pathspec de 0.9.0 a 0.10.3
    • patsy de 0.5.2 a 0.5.3
    • Almohada de 9.2.0 a 9.4.0
    • pip de 22.2.2 a 22.3.1
    • protobuf de 3.19.4 a 4.24.0
    • pytoolconfig de 1.2.2 a 1.2.5
    • pytz de 2022.1 a 2022.7
    • s3transfer de 0.6.0 a 0.6.1
    • seaborn de 0.11.2 a 0.12.2
    • setuptools de 63.4.1 a 65.6.3
    • soupsieve de 2.3.1 a 2.3.2.post1
    • stack-data de 0.6.2 a 0.2.0
    • statsmodels de 0.13.2 a 0.13.5
    • terminado de 0.13.1 a 0.17.1
    • traitlets de 5.1.1 a 5.7.1
    • typing_extensions de 4.3.0 a 4.4.0
    • urllib3 de 1.26.11 a 1.26.14
    • virtualenv de 20.16.3 a 20.16.7
    • rueda de 0.37.1 a 0.38.4
  • Bibliotecas de R actualizadas:
    • flecha de 10.0.1 a 12.0.1
    • base de 4.2.2 a 4.3.1
    • blob de 1.2.3 a 1.2.4
    • escoba de 1.0.3 a 1.0.5
    • bslib de 0.4.2 a 0.5.0
    • cachem de 1.0.6 a 1.0.8
    • caret de 6.0-93 a 6.0-94
    • chron de 2.3-59 a 2.3-61
    • clase de 7.3-21 a 7.3-22
    • cli de 3.6.0 a 3.6.1
    • reloj de 0.6.1 a 0.7.0
    • commonmark de 1.8.1 a 1.9.0
    • compilador de 4.2.2 a 4.3.1
    • cpp11 de 0.4.3 a 0.4.4
    • curl de 5.0.0 a 5.0.1
    • data.table de 1.14.6 a 1.14.8
    • conjuntos de datos de 4.2.2 a 4.3.1
    • dbplyr de 2.3.0 a 2.3.3
    • resumen de 0.6.31 a 0.6.33
    • fuera de servicio de 0.4.2 a 0.4.3
    • dplyr de 1.1.0 a 1.1.2
    • dtplyr de 1.2.2 a 1.3.1
    • evaluar de 0,20 a 0,21
    • fastmap de 1.1.0 a 1.1.1
    • fontawesome de 0.5.0 a 0.5.1
    • fs de 1.6.1 a 1.6.2
    • future de 1.31.0 a 1.33.0
    • future.apply de 1.10.0 a 1.11.0
    • gárgle de 1.3.0 a 1.5.1
    • ggplot2 de 3.4.0 a 3.4.2
    • gh de 1.3.1 a 1.4.0
    • glmnet de 4.1-6 a 4.1-7
    • googledrive de 2.0.0 a 2.1.1
    • googlesheets4 de 1.0.1 a 1.1.1
    • gráficos de 4.2.2 a 4.3.1
    • grDevices de 4.2.2 a 4.3.1
    • cuadrícula de 4.2.2 a 4.3.1
    • gtable de 0.3.1 a 0.3.3
    • hardhat de 1.2.0 a 1.3.0
    • haven de 2.5.1 a 2.5.3
    • hms: de 1.1.2 a 1.1.3
    • htmltools de 0.5.4 a 0.5.5
    • htmlwidgets de 1.6.1 a 1.6.2
    • httpuv de 1.6.8 a 1.6.11
    • httr de 1.4.4 a 1.4.6
    • ipred de 0.9-13 a 0.9-14
    • jsonlite de 1.8.4 a 1.8.7
    • KernSmooth de 2.23 a 20 a 2.23-21
    • knitr de 1.42 a 1.43
    • posterior de 1.3.0 a 1.3.1
    • lattice de 0,20-45 a 0,21-8
    • lava de 1.7.1 a 1.7.2.1
    • lubridate de 1.9.1 a 1.9.2
    • markdown de 1.5 a 1.7
    • MASS de 7.3-58.2 a 7.3-60
    • Matrix de 1.5-1 a 1.5-4.1
    • métodos de 4.2.2 a 4.3.1
    • mgcv de 1,8-41 a 1,8-42
    • modelr de 0.1.10 a 0.1.11
    • nnet de 7.3-18 a 7.3-19
    • openssl de 2.0.5 a 2.0.6
    • paralelo de 4.2.2 a 4.3.1
    • paralelamente de 1.34.0 a 1.36.0
    • pilar de 1.8.1 a 1.9.0
    • pkgbuild de 1.4.0 a 1.4.2
    • pkgload de 1.3.2 a 1.3.2.1
    • pROC de 1.18.0 a 1.18.4
    • processx de 3.8.0 a 3.8.2
    • prodlim de 2019.11.13 a 2023.03.31
    • profvis de 0.3.7 a 0.3.8
    • ps de 1.7.2 a 1.7.5
    • Rcpp de 1.0.10 a 1.0.11
    • readr de 2.1.3 a 2.1.4
    • readxl: de 1.4.2 a 1.4.3
    • recetas de 1.0.4 a 1.0.6
    • rlang de 1.0.6 a 1.1.1
    • rmarkdown de 2.20 a 2.23
    • Rserve de 1.8-12 a 1.8-11
    • RSQLite de 2.2.20 a 2.3.1
    • rstudioapi de 0.14 a 0.15.0
    • sass de 0.4.5 a 0.4.6
    • brillante de 1.7.4 a 1.7.4.1
    • sparklyr: de 1.7.9 a 1.8.1
    • SparkR de 3.4.1 a 3.5.0
    • splines de 4.2.2 a 4.3.1
    • estadísticas de 4.2.2 a 4.3.1
    • stats4 de 4.2.2 a 4.3.1
    • supervivencia de 3,5-3 a 3,5-5
    • sys de 3.4.1 a 3.4.2
    • tcltk de 4.2.2 a 4.3.1
    • testthat de 3.1.6 a 3.1.10
    • tibble de 3.1.8 a 3.2.1
    • tidyverse de 1.3.2 a 2.0.0
    • tinytex de 0,44 a 0,45
    • herramientas de 4.2.2 a 4.3.1
    • tzdb de 0.3.0 a 0.4.0
    • usethis de 2.1.6 a 2.2.2
    • utils de 4.2.2 a 4.3.1
    • vctrs de 0.5.2 a 0.6.3
    • viridisLite: de 0.4.1 a 0.4.2
    • vroom de 1.6.1 a 1.6.3
    • waldo de 0.4.0 a 0.5.1
    • xfun de 0,37 a 0,39
    • xml2 de 1.3.3 a 1.3.5
    • zip de 2.2.2 a 2.3.0
  • Bibliotecas de Java actualizadas:
    • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 a 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 a 2.15.2
    • com.github.luben.zstd-jni de 1.5.2-5 a 1.5.5-4
    • com.google.code.gson.gson de 2.8.9 a 2.10.1
    • com.google.crypto.tink.tink.tink de 1.7.0 a 1.9.0
    • commons-codec.commons-codec de 1.15 a 1.16.0
    • commons-io.commons-io de 2.11.0 a 2.13.0
    • io.airlift.aircompressor de 0.21 a 0.24
    • io.dropwizard.metrics.metrics-core de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-graphite de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jmx de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-json de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jvm de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-servlets de 4.2.10 a 4.2.19
    • io.netty.netty-all de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http2 de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-socks de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler-proxy de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final a 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 a 12.0.1
    • org.apache.avro.avro de 1.11.1 a 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 a 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 a 1.11.2
    • org.apache.commons.commons-compress de 1.21 a 1.23.0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 a 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 a 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
    • org.apache.xbean.xbean-asm9 sombreado de 4.22 a 4.23
    • org.checkerframework.checker-qual de 3.19.0 a 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de 2.36 a 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-client de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-common de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-server de 2.36 a 2.40
    • org.glassfish.jersey.inject.jersey-hk2 de 2.36 a 2.40
    • org.javassist.javassist de 3.25.0-GA a 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client de 2.7.4 a 2.7.9
    • org.postgresql.postgresql de 42.3.8 a 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 a 0.9.45
    • org.roaringbitmap.shims de 0.9.39 a 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 a 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 a 2.9.0
    • org.slf4j.jcl-over-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.jul-to-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 a 2.0.7
    • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
    • org.yaml.snakeyaml de 1.33 a 2.0

Apache Spark

Databricks Runtime 14.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 13.3 LTS, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrección de aes_decrypt y funciones ln en Connect
  • [SPARK-44980] [DBRRM-462] [sc-141024] [PYTHON] [connect] Se ha corregido la herencia de namedtuples para trabajar en createDataFrame
  • [SPARK-44795] [ DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache debe ser específico del cargador de clases.
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [ DBRRM-462][sc-139767][CONNECT] Hacer que las consultas de streaming funcionen con la administración de artefactos de Connect.
  • [SPARK-44791] [ DBRRM-462][sc-139623][CONNECT] Hacer que ArrowDeserializer funcione con clases generadas por REPL
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Corregir el UDF de Python optimizado con Arrow en Spark Connect
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Compatibilidad con funciones protobuf de Python para Spark Connect
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Quitar función uuid/random/chr de PySpark
  • [SPARK-44740] [ DBRRM-462][sc-140320][CONNECT][follow] Corregir valores de metadatos para Artifacts
  • [SPARK-44822] [DBRRM-464][python][SQL] Hacer que las UDTFs de Python sean no determinísticas por defecto.
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refactorizar Arrow Python UDTF
  • [SPARK-44738] [ DBRRM-462][sc-139347][PYTHON][connect] Agregar metadatos de cliente que faltan a las llamadas
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: el objeto 'NoneType' no tiene el atributo 'message'
  • [SPARK-44625] [ DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager para realizar un seguimiento de todas las ejecuciones
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Deshabilitar la optimización de Arrow de forma predeterminada para UDTFs de Python
  • [SPARK-44709] [ DBRRM-396][sc-139250][CONNECT] Ejecute ExecuteGrpcResponseSender en ejecución repetible en un nuevo subproceso para corregir el control de flujo.
  • [SPARK-44656] [ DBRRM-396][sc-138924][CONNECT] Hacer que todos los iteradores sean CloseableIterators
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Retry ExecutePlan en caso de que la solicitud inicial no llegara al servidor en el cliente de Python
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Retry ExecutePlan en caso de que la solicitud inicial no llegara al servidor
  • [SPARK-44574] [ DBRRM-396][sc-138288][SQL][connect] Los errores que se han movido a sq/api también deben usar AnalysisException.
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Agregar objeto Encoders
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Seguimiento de la finalización de consultas de streaming cuando se agota el tiempo de espera de la sesión de cliente para Spark Connect
  • [SPARK-44642] [ DBRRM-396][sc-138882][CONNECT] ReleaseExecute en ExecutePlanResponseReattachableIterator después de recibir un error del servidor
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Quitar de la dependencia de Connect Client Catalyst
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Liberar la ejecución al cerrar el iterador en el cliente de Python
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Eliminar el directorio basado en sesión cuando se expulsa la caché de sesión aislada
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] No dejar iteradores pendientes
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Cliente python para volver a conectar a la ejecución existente en Spark Connect
  • [SPARK-44637] [SC-138571] Sincronización de accesos a ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][connect][SQL] Restablecer Row.jsonValue y amigos
  • [SPARK-44421] [ SC-138434][spark-44423][CONNECT] Ejecución repetible en Spark Connect
  • [SPARK-44418] [SC-136807][python][CONNECT] Actualizar protobuf de 3.19.5 a 3.20.3
  • [SPARK-44587] [ SC-138315][sql][CONNECT] Aumento del límite de recursividad del serializador protobuf
  • [SPARK-44591] [SC-138292][connect][SQL] Agregar jobTags a SparkListenerSQLExecutionStart
  • [SPARK-44610] [ SC-138368][sql] DesduplicateRelations debe conservar los metadatos de alias al crear una nueva instancia
  • [SPARK-44542] [ SC-138323][core] Carga diligente de la clase SparkExitCode en el controlador de excepciones
  • [SPARK-44264] [SC-138143][python]E2E Testing for Deepspeed
  • [SPARK-43997] [SC-138347][connect] Agregar compatibilidad con UDF de Java
  • [SPARK-44507] [SQL][connect][14.x][14.0] Mover AnalysisException a sql/api
  • [SPARK-44453] [SC-137013][python] Usar difflib para mostrar errores en assertDataFrameEqual
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Agregar una página de interfaz de usuario de Spark para Spark Connect
  • [SPARK-44611] [SC-138415][connect] No se debe excluir scala-xml
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Mover la inferencia del codificador a sql/api
  • [SPARK-43744] [ SC-138289][connect][14.x][14.0] Corregir el problema de carga de clases cau...
  • [SPARK-44590] [ SC-138296][sql][CONNECT] Quitar el límite de registros por lotes de flecha para SqlCommandResult
  • [SPARK-43968] [ SC-138115][python] Mejorar los mensajes de error de las UDTF de Python con un número incorrecto de salidas
  • [SPARK-44432] [SC-138293][ss][CONNECT] Finalizar las consultas de streaming cuando se agota el tiempo de espera de una sesión en Spark Connect
  • [SPARK-44584] [SC-138295][connect] Establecer información de client_type para AddArtifactsRequest y ArtifactStatusesRequest en el cliente de Scala
  • [SPARK-44552] [14.0][sc-138176][SQL] Quitar private object ParseState la definición de IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Habilitar resample con Spark Connect
  • [SPARK-44287] [SC-136223][sql] Use PartitionEvaluator API en los operadores RowToColumnarExec & ColumnarToRowExec SQL.
  • [SPARK-39634] [SC-137566][sql] Permitir la división de archivos en combinación con la generación de índices de fila
  • [SPARK-44533] [SC-138058][python] Añadir compatibilidad con el acumulador, el broadcast y los archivos de Spark en el análisis de UDTF de Python
  • [SPARK-44479] [SC-138146][python] Corregir ArrowStreamPandasUDFSerializer para aceptar un DataFrame de pandas sin columnas
  • [SPARK-44425] [SC-138177][connect] Validar que el sessionId proporcionado por el usuario sea un UUID
  • [SPARK-44535] [SC-138038][connect][SQL] Mover la API de streaming necesaria a sql/api
  • [SPARK-44264] [SC-136523][ml][PYTHON] Escribir una clase Deepspeed Distributed Learning DeepspeedTorchDistributor
  • [SPARK-42098] [ SC-138164][sql] Corregir que ResolveInlineTables no pueda manejar la expresión RuntimeReplaceable
  • [SPARK-44060] [SC-135693][sql] Code-gen para la combinación hash aleatoria externa del lado de compilación
  • [SPARK-44496] [SC-137682][sql][CONNECT] Mover interfaces necesarias para SCSC a sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] Mover ArrowUtils a sql/api
  • [SPARK-44413] [SC-137019][python] Aclaración del error de tipo de datos arg no admitido en assertDataFrameEqual
  • [SPARK-44530] [SC-138036][core][CONNECT] Mover SparkBuildInfo a common/util
  • [SPARK-36612] [SC-133071][sql] Soporte para construir combinación externa izquierda o combinación externa derecha en combinación hash distribuida
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils generó parámetros incorrectos para archivos JAR
  • [SPARK-44449] [SC-137818][connect] Elevación de tipo para la deserialización directa de Arrow
  • [SPARK-44131] [SC-136346][sql] Agregar call_function y dejar de usar call_udf para la API de Scala
  • [SPARK-44541] [SQL] Quitar función inútil hasRangeExprAgainstEventTimeColde UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] MaxRows/maxRowsPerPartition del filtro es 0 si la condición es FalseLiteral
  • [SPARK-44540] [ SC-137873][ui] Quitar la hoja de estilos sin usar y los archivos javascript de jsonFormatter
  • [SPARK-44466] [ SC-137856][sql] Excluir configuraciones que comienzan con SPARK_DRIVER_PREFIX y SPARK_EXECUTOR_PREFIX de modifiedConfigs
  • [SPARK-44477] [SC-137508][sql] Tratar TYPE_CHECK_FAILURE_WITH_HINT como una subclase de error
  • [SPARK-44509] [SC-137855][python][CONNECT] Adición de la API de cancelación de trabajos establecida en el cliente python de Spark Connect
  • [SPARK-44059] [SC-137023] Se ha agregado compatibilidad con analizadores de argumentos con nombre para funciones integradas.
  • [SPARK-38476] [SC-136448][core] Usar la clase de error en org.apache.spark.storage
  • [SPARK-44486] [SC-137817][python][CONNECT] Implementar la característica PyArrow self_destruct para toPandas
  • [SPARK-44361] [SC-137200][sql] Usar PartitionEvaluator API en MapInBatchExec
  • [SPARK-44510] [ SC-137652][ui] Actualizar dataTables a 1.13.5 y quitar algunos archivos PNG no accesibles
  • [SPARK-44503] [SC-137808][sql] Agregar gramática SQL para la cláusula PARTITION BY y ORDER BY después de los argumentos TABLE para las llamadas TVF
  • [SPARK-38477] [SC-136319][core] Use la clase de error en org.apache.spark.shuffle
  • [SPARK-44299] [ SC-136088][sql] Asignar nombres a la clase de error _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Interrupción específica de Spark Connect
  • [SPARK-44380] [SC-137415][sql][PYTHON] Compatibilidad con UDTF de Python para analizar en Python
  • [SPARK-43923] [ SC-137020][connect] Publicar eventos de listenerBus durante...
  • [SPARK-44303] [SC-136108][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [ SC-135885][ui] Corrección de la visualización inesperada de la columna HeapHistogram con el cuadro de selección total
  • [SPARK-44409] [SC-136975][sql] Controlar char/varchar en Dataset.to para mantener la coherencia con otros usuarios
  • [SPARK-44334] [SC-136576][sql][UI] El estado en la respuesta de la API REST para un DDL/DML fallido sin trabajos debería ser FAILED en lugar de COMPLETED.
  • [SPARK-42309] [ SC-136703][sql] Introduce INCOMPATIBLE_DATA_TO_TABLE y sub clases.
  • [SPARK-44367] [SC-137418][sql][UI] Mostrar mensaje de error en la interfaz de usuario para cada consulta con errores
  • [SPARK-44474] [SC-137195][connect] Habilitar nuevamente "Prueba observar respuesta" en SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [ SC-136055][connect] El registro de inicio de Connect Server debe mostrar el nombre de host y el puerto.
  • [SPARK-44309] [SC-136193][ui] Mostrar el tiempo de adición/eliminación de ejecutores en la pestaña Ejecutores
  • [SPARK-42898] [SC-137556][sql] Marcar que las conversiones de cadena/fecha no necesitan identificación de zona horaria.
  • [SPARK-44475] [SC-137422][sql][CONNECT] Reubicación de DataType y Analizador en sql/api
  • [SPARK-44484] [SC-137562][ss]Agregar batchDuration al método json StreamingQueryProgress
  • [SPARK-43966] [SC-137559][sql][PYTHON] Compatibilidad con funciones con valores de tabla no deterministas
  • [SPARK-44439] [SC-136973][connect][SS]Se corrigió listListeners para enviar solo identificadores al cliente
  • [SPARK-44341] [ SC-137054][sql][PYTHON] Defina la lógica informática mediante partitionEvaluator API y úsela en WindowExec y WindowInPandasExec
  • [SPARK-43839] [SC-132680][sql] Convertir _LEGACY_ERROR_TEMP_1337 en UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Agregar compatibilidad con el agente de escucha de streaming en Scala para Spark Connect
  • [SPARK-44260] [SC-135618][sql] Asigne nombres a la clase de error LEGACY_ERROR_TEMP[1215-1245-2329] & Use checkError() para comprobar la excepción en _CharVarchar_Suite
  • [SPARK-42454] [ SC-136913][sql] SPJ: encapsula todos los parámetros relacionados con SPJ en BatchScanExec
  • [SPARK-44292] [SC-135844][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][connect] Deserialización directa de flechas
  • [SPARK-44324] [SC-137172][sql][CONNECT] Mover CaseInsensitiveMap a sql/api
  • [SPARK-44395] [SC-136744][sql] Agregar pruebas de nuevo a StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][PYTHON] Hacer de pyspark.sql.is_remote una API
  • [SPARK-44278] [SC-137400][connect] Implementación de un interceptor de servidor GRPC que limpia las propiedades locales del subproceso
  • [SPARK-44264] [SC-137211][ml][PYTHON] Compatibilidad con el entrenamiento distribuido de funciones mediante Deepspeed
  • [SPARK-44430] [SC-136970][sql] Agregar causa a AnalysisException cuando la opción no es válida
  • [SPARK-44264] [ SC-137167][ml][PYTHON] Incorporación de FunctionPickler en TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Hacer pública la API assertSchemaEqual
  • [SPARK-44398] [SC-136720][connect] API de Scala foreachBatch
  • [SPARK-43203] [SC-134528][sql] Mover todos los casos de Drop Table a DataSource V2
  • [SPARK-43755] [SC-137171][connect][MINOR] Abrir AdaptiveSparkPlanHelper.allChildren en lugar de usar la copia en MetricGenerator
  • [SPARK-44264] [SC-137187][ml][PYTHON] Refactorización de TorchDistributor para permitir un puntero de función personalizado “run_training_on_file”
  • [SPARK-43755] [ SC-136838][connect] Trasladar la ejecución desde SparkExecutePlanStreamHandler a un hilo diferente
  • [SPARK-44411] [SC-137198][sql] Usar PartitionEvaluator API en ArrowEvalPythonExec y BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][sql] Usar PartitionEvaluator API en DebugExec
  • [SPARK-43967] [SC-137057][python] Compatibilidad con UDF de Python normales con valores devueltos vacíos
  • [SPARK-43915] [SC-134766][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Compatibilidad con UDTF de Python en Spark Connect
  • [SPARK-44154] [SC-137050][sql] Se agregaron más pruebas unitarias a BitmapExpressionUtilsSuite y se realizaron mejoras menores en expresiones agregadas de mapa de bits.
  • [SPARK-44169] [SC-135497][sql] Asignar nombres a la clase de error LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] Quitar StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][PYTHON] Compatibilidad con UDTFs de Python optimizadas para Arrow
  • [SPARK-44321] [SC-136308][connect] Desacoplar ParseException de AnalysisException
  • [SPARK-44348] [ SAS-1910][sc-136644][CORE][connect][PYTHON] Reenable test_artifact con cambios pertinentes
  • [SPARK-44145] [SC-136698][sql] Devolución de llamada cuando esté listo para ejecutarse
  • [SPARK-43983] [SC-136404][python][ML][connect] Habilitar la prueba del estimador de validación cruzada
  • [SPARK-44399] [SC-136669][python][CONNECT] Importar SparkSession en UDF de Python solo cuando useArrow sea None
  • [SPARK-43631] [SC-135300][connect][PS] Habilitar series.interpolate con Spark Connect
  • [SPARK-44374] [SC-136544][python][ML] Adición de código de ejemplo para ML distribuido para spark connect
  • [SPARK-44282] [SC-135948][connect] Preparar el análisis de DataType para su uso en el cliente Scala de Spark Connect
  • [SPARK-44052] [ SC-134469][connect][PS] Agregar una utilidad para obtener la clase adecuada de Column o DataFrame para Spark Connect.
  • [SPARK-43983] [SC-136404][python][ML][connect] Implementación del estimador de validador cruzado
  • [SPARK-44290] [ SC-136300][connect] Archivos basados en sesión en Spark Connect
  • [SPARK-43710] [SC-134860][ps][CONNECT] Compatibilidad functions.date_part con Spark Connect
  • [SPARK-44036] [SC-134036][connect][PS] Limpieza y consolidación de incidencias para simplificar las tareas.
  • [SPARK-44150] [SC-135790][python][CONNECT] Conversión explícita de Arrow para el tipo de valor devuelto no coincidente en Arrow Python UDF
  • [SPARK-43903] [SC-134754][python][CONNECT] Mejorar la compatibilidad de entrada de ArrayType en la UDF de Python de Arrow
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementar evaluador de clasificación
  • [SPARK-44255] [SC-135704][sql] Reubicación de StorageLevel en common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementar la generación de código para to_csv función (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Refactorizar PythonUDTFRunner para enviar su tipo de retorno por separado
  • [SPARK-43353] [SC-132734][python] Migre los errores de sesión restantes a la clase de error.
  • [SPARK-44133] [SC-134795][python] Actualizar MyPy de 0.920 a 0.982
  • [SPARK-42941] [ SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde en formato JSON
  • [SPARK-43353] Revertir "[SC-132734][es-729763][PYTHON] Migrar los errores de sesión restantes a la clase de error"
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] Mover el espacio de nombres de pyspark.mlv2 a pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] Mover StringConcat a sql/api
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Agregar patrón opcional para Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementación del estimador de canalización para ML en spark connect
  • [SPARK-43888] [SC-132893][core] Mover el registro a common/utils
  • [SPARK-42941] Revert "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde en formato JSON"
  • [SPARK-43624][SC-134557] [ps][CONNECT] Agregar EWM a SparkConnectPlanner.
  • [SPARK-43981] [ SC-134137][python][ML] Implementación básica de guardado y carga para ML en spark connect
  • [SPARK-43205] [SC-133371][sql] corregir Suite de Pruebas de Consultas SQL
  • [SPARK-43376] Revertir "[SC-130433][sql] Mejorar la reutilización de subconsulta con almacenamiento en caché de tablas"
  • [SPARK-44040] [SC-134366][sql] Corregir el cálculo de estadísticas cuando el nodo AggregateExec está encima de QueryStageExec
  • [SPARK-43919] [SC-133374][sql] Extraer la funcionalidad JSON del objeto Row
  • [SPARK-42618] [ SC-134433][python][PS] Advertencia para los cambios de comportamiento relacionados con Pandas en la próxima versión principal
  • [SPARK-43893] [SC-133381][python][CONNECT] Compatibilidad con tipos de datos no atómicos en UDF de Python optimizada para flechas
  • [SPARK-43627] [ SC-134290][spark-43626][PS][connect] Habilitar pyspark.pandas.spark.functions.{kurt, skew} en Spark Connect.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Compatibilidad con funciones de tabla definidas por el usuario de Python
  • [SPARK-43616] [SC-133849][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.mode en Spark Connect
  • [SPARK-43133] [SC-133728] Compatibilidad de Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Solucionar (NullOps|NumOps).(eq|ne) para Spark Connect.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Habilitar pyspark.pandas.spark.functions.{var, stddev} en Spark Connect
  • [SPARK-43617] [SC-133893][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.product en Spark Connect
  • [SPARK-43610] [ SC-133832][connect][PS] Habilitar InternalFrame.attach_distributed_column en Spark Connect.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.repeat en Spark Connect
  • [SPARK-43921] [SC-133461][protobuf] Generar archivos de descriptor protobuf en tiempo de compilación
  • [SPARK-43613] [SC-133727][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.covar en Spark Connect
  • [SPARK-43376] [SC-130433][sql] Mejorar la reutilización de subconsultas con caché de tablas
  • [SPARK-43612] [SC-132011][connect][PYTHON] Implementación de SparkSession.addArtifact(s) en el cliente de Python
  • [SPARK-43920] [SC-133611][sql][CONNECT] Crear módulo sql/api
  • [SPARK-43097] [ SC-133372][ml] Nuevo estimador de regresión logística de pyspark ML implementado sobre el distribuidor
  • [SPARK-43783] [ SC-133240][spark-43784][SPARK-43788][ml] Hacer que MLv2 (ML en spark connect) admita pandas >= 2.0
  • [SPARK-43024] [SC-132716][python] Upgrade pandas to 2.0.0
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Agregar un patrón opcional para Catalog.listDatabases
  • [SPARK-39281] [ SC-131422][sql] Acelerar la inferencia del tipo Timestamp con formato heredado en el origen de datos JSON/CSV
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Agregar patrón opcional para Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] API DataStreamWriter de cliente Python foreach()
  • [SPARK-43545] [SC-132378][sql][PYTHON] Compatibilidad con el tipo de marca de tiempo anidada
  • [SPARK-43353] [SC-132734][python] Migre los errores de sesión restantes a la clase de error.
  • [SPARK-43304] [SC-129969][connect][PYTHON] Migrar NotImplementedError a PySparkNotImplementedError
  • [SPARK-43516] [ SC-132202][ml][PYTHON][connect] Interfaces base de sparkML para spark3.5: estimador/transformador/modelo/evaluador
  • [SPARK-43128] Revertir "[SC-131628][connect][SS] Hacer que recentProgress y lastProgress devuelvan StreamingQueryProgress consistentemente con la API nativa de Scala"
  • [SPARK-43543] [SC-131839][python] Corrección del comportamiento de MapType anidado en UDF de Pandas
  • [SPARK-38469] [SC-131425][core] Use la clase de error en org.apache.spark.network
  • [SPARK-43309] [ SC-129746][spark-38461][CORE] Extender INTERNAL_ERROR con categorías y agregar la clase de error INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Traslado del marco de error a un módulo de utilidades comunes
  • [SPARK-43440] [SC-131229][python][CONNECT] Soporte para el registro de una UDF de Python optimizada con Arrow
  • [SPARK-43528] [SC-131531][sql][PYTHON] Compatibilidad con nombres de campo duplicados en createDataFrame con DataFrame pandas
  • [SPARK-43412] [SC-130990][python][CONNECT] Introducir SQL_ARROW_BATCHED_UDF EvalType para las UDF de Python optimizadas para Arrow
  • [SPARK-40912] [SC-130986][core]Sobrecarga de excepciones en KryoDeserializationStream
  • [SPARK-39280] [ SC-131206][sql] Aceleración de la inferencia de tipo timestamp con formato proporcionado por el usuario en el origen de datos JSON/CSV
  • [SPARK-43473] [SC-131372][python] Compatibilidad con el tipo de estructura createDataFrame desde pandas DataFrame
  • [SPARK-43443] [SC-131024][sql] Agregar pruebas comparativas para la inferencia de tipo Timestamp cuando se usa un valor no válido
  • [SPARK-41532] [SC-130523][connect][CLIENT] Agregar comprobación de las operaciones que implican varios marcos de datos
  • [SPARK-43296] [SC-130627][connect][PYTHON] Migrar errores de sesión de Spark Connect a la clase de error
  • [SPARK-43324] [SC-130455][sql] Gestionar UPDATE comandos para fuentes basadas en Delta
  • [SPARK-43347] [SC-130148][python] Quitar compatibilidad con Python 3.7
  • [SPARK-43292] [ SC-130525][core][CONNECT] Mover ExecutorClassLoader al módulo core y simplificar Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Adición del cargador de datos del distribuidor de antorchas que carga datos de datos de partición de Spark
  • [SPARK-43331] [SC-130061][conectar] Añadir Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][python] Migrar ValueError de tipos SQL de Spark a una clase de error
  • [SPARK-43261] [ SC-129674][python] Migrar TypeError de tipos SQL de Spark a la clase de error.
  • [SPARK-42992] [SC-129465][python] Introducir PySparkRuntimeError
  • [SPARK-16484] [SC-129975][sql] Agregar compatibilidad con Datasketches HllSketch
  • [SPARK-43165] [SC-128823][sql] Mover canWrite a DataTypeUtils
  • [SPARK-43082] [SC-129112][connect][PYTHON] UDF de Python optimizadas para flechas en Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Agregar compatibilidad con applyInPandasWithState para spark connect
  • [SPARK-42657] [SC-128621][connect] Compatibilidad para buscar y transferir archivos de clases REPL del lado cliente al servidor como artefactos
  • [SPARK-43098] [SC-77059][sql] Corregir el error de COUNT cuando la subconsulta escalar tiene una cláusula GROUP BY
  • [SPARK-42884] [SC-126662][connect] Agregar integración de REPL de Ammonite
  • [SPARK-42994] [ SC-128333][ml][CONNECT] El distribuidor pyTorch admite el modo local
  • [SPARK-41498] [SC-125343]Revert " Propagación de metadatos a través de Union"
  • [SPARK-42993] [ SC-127829][ml][CONNECT] Hacer que el distribuidor de PyTorch sea compatible con Spark Connect
  • [SPARK-42683] [LC-75] Cambiar automáticamente el nombre de las columnas de metadatos en conflicto
  • [SPARK-42874] [ SC-126442][sql] Habilitación del nuevo marco de pruebas de archivos dorados para el análisis de todos los archivos de entrada
  • [SPARK-42779] [SC-126042][sql] Permitir que las escrituras V2 indiquen el tamaño de particiones de barajado recomendado
  • [SPARK-42891] [SC-126458][connect][PYTHON] Implementación de la API de mapa cogroupado
  • [SPARK-42791] [ SC-126134][sql] Crear un nuevo marco de pruebas de archivos dorados para el análisis
  • [SPARK-42615] [ SC-124237][connect][PYTHON] Refactorizar el RPC de AnalyzePlan y agregar session.version
  • [SPARK-41302] Revertir "[ALL TESTS][sc-122423][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652][python] Mensajes de error mejorados para applyInPandas para que el esquema no coincida
  • [SPARK-40770] Revertir "[TODAS LAS PRUEBAS][sc-122652][PYTHON] Mensajes de error mejorados para applyInPandas por desajuste de esquema"
  • [SPARK-42398] [SC-123500][sql] Refinar el valor de columna predeterminado DS v2 interface
  • [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] Mensajes de error mejorados para applyInPandas para la falta de coincidencia de esquema
  • [SPARK-40770] Revertir “[SC-122652][python] Mensajes de error mejorados para applyInPandas por desajuste de esquema”
  • [SPARK-40770] [SC-122652][python] Mensajes de error mejorados para applyInPandas para que el esquema no coincida
  • [SPARK-42038] [ALL TESTS] Revert "Revert "[SC-122533][sql] SPJ: Soporte de distribución parcialmente agrupada""
  • [SPARK-42038] Revertir "[SC-122533][sql] SPJ: Compatibilidad con la distribución en clúster parcial"
  • [SPARK-42038] [SC-122533][sql] SPJ: Compatibilidad con la distribución en clúster parcial
  • [SPARK-40550] [ SC-120989][sql] DataSource V2: Controlar comandos DELETE para orígenes basados en delta
  • [SPARK-40770] Revertir “[SC-122652][python] Mensajes de error mejorados para applyInPandas por desajuste de esquema”
  • [SPARK-40770] [SC-122652][python] Mensajes de error mejorados para applyInPandas para que el esquema no coincida
  • [SPARK-41302] Revertir "[SC-122423][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40550] Revertir "[SC-120989][sql] DataSource V2: Manejar comandos DELETE para orígenes basados en delta"
  • [SPARK-42123] Revertir "[SC-121453][sql] Incluir valores predeterminados de columna en DESCRIBE y SHOW CREATE TABLE output"
  • [SPARK-42146] [ SC-121172][core] Refactorizar Utils#setStringField para que la compilación de Maven pase cuando el módulo SQL use este método
  • [SPARK-42119] Reversión de “[SC-121342][sql] Agregar las funciones integradas de valor de tabla inline e inline_outer”

Aspectos destacados

  • Corrección de las funciones aes_decrypt y ln en Connect SPARK-45109
  • Corrección de las tuplas con nombre heredadas para que funcionen en createDataFrame SPARK-44980
  • CodeGenerator Cache ahora es específico del cargador de clases [SPARK-44795]
  • Se ha agregado SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
  • Hacer que las consultas de streaming funcionen con la administración de artefactos de Connect [SPARK-44794]
  • ArrowDeserializer funciona con clases generadas por REPL [SPARK-44791]
  • Se ha corregido la UDF de Python optimizada para Arrow en Spark Connect [SPARK-44876]
  • Compatibilidad con clientes de Scala y Go en Spark Connect SPARK-43351SPARK-42554
  • Compatibilidad con ML distribuido basado en PyTorch para Spark Connect SPARK-42471
  • Compatibilidad con Structured Streaming para Spark Connect en Python y Scala SPARK-42938
  • Compatibilidad de la API de Pandas con el cliente spark connect de Python SPARK-42497
  • Introducción a las UDF de Python de flecha SPARK-40307
  • Compatibilidad con las funciones de tabla definidas por el usuario de Python SPARK-43798
  • Migración de errores de PySpark a clases de error SPARK-42986
  • PySpark Test Framework SPARK-44042
  • Adición de compatibilidad con Datasketches HllSketch SPARK-16484
  • Mejora integrada de funciones de SQL SPARK-41231
  • cláusula IDENTIFIERSPARK-43205
  • Adición de funciones SQL a Scala, Python y R API SPARK-43907
  • Adición de compatibilidad con argumentos con nombre para funciones DE SQL SPARK-43922
  • Evitar que se vuelva a ejecutar una tarea innecesaria en el ejecutor retirado perdido si se migran datos aleatorios SPARK-41469
  • Spark de Ml <> distribuido connect SPARK-42471
  • Distribuidor de DeepSpeed SPARK-44264
  • Implementación de puntos de comprobación del registro de cambios para el almacén de estado de RocksDB SPARK-43421
  • Introducir la propagación de marcas de agua entre los operadores SPARK-42376
  • Introducción a dropDuplicatesWithinWatermark SPARK-42931
  • Mejoras en la administración de memoria del proveedor del almacén de estado de RocksDB SPARK-43311

Spark Connect

  • Refactorización del módulo sql en sql y sql-api para generar un conjunto mínimo de dependencias que se pueden compartir entre el cliente de Spark Connect de Scala y Spark y evita extraer todas las dependencias transitivas de Spark. SPARK 44273
  • Introducción al cliente de Scala para Spark Connect SPARK-42554
  • Compatibilidad de la API de Pandas con el cliente spark connect de Python SPARK-42497
  • Compatibilidad con ML distribuido basado en PyTorch para Spark Connect SPARK-42471
  • Compatibilidad con Structured Streaming para Spark Connect en Python y Scala SPARK-42938
  • Versión inicial del cliente de Go SPARK-43351
  • Muchas mejoras de compatibilidad entre spark nativo y los clientes de Spark Connect en Python y Scala
  • Se ha mejorado la depuración y el control de solicitudes para las aplicaciones cliente (procesamiento asincrónico, reintentos, consultas de larga duración)

Spark SQL

Características

  • Añadir columna de metadatos inicio y longitud de bloque de archivo SPARK-42423
  • Compatibilidad con parámetros posicionales en Scala/Java sql() SPARK-44066
  • Añadir soporte de parámetros con nombre en el analizador sintáctico para llamadas a funciones SPARK-43922
  • Compatibilidad de SELECT DEFAULT con ORDER BY, LIMIT y OFFSET para la relación de origen INSERTSPARK-43071
  • Incorporación de gramática SQL para la cláusula PARTITION BY y ORDER BY después de los argumentos TABLE para llamadas a TVF SPARK-44503
  • Inclusión de valores predeterminados de columna en DESCRIBE y la salida de SHOW CREATE TABLESPARK-42123
  • Adición de un patrón opcional para Catalog.listCatalogs SPARK-43792
  • Adición de un patrón opcional para Catalog.listDatabases SPARK-43881
  • Devolución de llamada cuando esté lista para la ejecución de SPARK-44145
  • Compatibilidad con la instrucción Insertar por nombre SPARK-42750
  • Adición de call_function para la API de Scala SPARK-44131
  • Alias de columna derivados estables SPARK-40822
  • Compatibilidad con expresiones constantes generales como valores CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Compatibilidad con subconsultas con correlación mediante UNION/INTERSECT/EXCEPT SPARK-36124
  • cláusula IDENTIFIERSPARK-43205
  • ANSI MODE: Conv debe devolver un error si la conversión interna desborda SPARK-42427

Funciones

  • Adición de compatibilidad con Datasketches HllSketch SPARK-16484
  • Compatibilidad con el modo CBC mediante aes_encrypt()/aes_decrypt() SPARK-43038
  • Compatibilidad de la regla del analizador de argumentos TABLE para TableValuedFunction SPARK-44200
  • Implementación de funciones de mapa de bits SPARK-44154
  • Adición de la función try_aes_decrypt()SPARK-42701
  • array_insert debe producir un error con 0 índice SPARK-43011
  • Adición de alias de to_varchar para to_char SPARK-43815
  • Función de orden alto: array_compact implementación de SPARK-41235
  • Añadir soporte analizador de argumentos con nombre para funciones incorporadas SPARK-44059
  • Añadir NULL para INSERT con listas especificadas por el usuario de menos columnas que la tabla de destino SPARK-42521
  • Agrega compatibilidad con aes_encrypt IVs y AAD SPARK-43290
  • La función DECODE devuelve resultados erróneos cuando se le pasa NULL SPARK-41668
  • Compatibilidad con udf "luhn_check" SPARK-42191
  • Resolución implícita de alias de columna lateral en el Aggregate SPARK-41631
  • Soporte implícito de alias de columna lateral en consultas con Window SPARK-42217
  • Adición de alias de función 3 args DATE_ADD y DATE_DIFF SPARK-43492

Orígenes de datos

  • Compatibilidad con Char/Varchar para JDBC Catalog SPARK-42904
  • Soporte para obtener palabras clave SQL dinámicamente a través de la API JDBC y TVF SPARK-43119
  • Data source V2: MERGE command management for delta-based sources SPARK-43885
  • Fuente de datos V2: Gestión de comandos MERGE para fuentes basadas en grupos SPARK-43963
  • DataSource V2: control de comandos UPDATE para orígenes basados en grupos SPARK-43975
  • Fuente de datos V2: Permitir representar actualizaciones como borrados e inserciones SPARK-43775
  • Permitir que los dialectos jdbc anulen la consulta utilizada para crear una tabla SPARK-41516
  • SPJ: compatibilidad con la distribución en clúster parcial SPARK-42038
  • DSv2 permite a CTAS/RTAS reservar la anulabilidad del esquema SPARK-43390
  • Agregar spark.sql.files.maxPartitionNum SPARK-44021
  • Gestionar los comandos UPDATE para orígenes basados en delta SPARK-43324
  • Permitir que las escrituras V2 indiquen el tamaño de la partición aleatoria de asesoramiento SPARK-42779
  • Compatibilidad con el códec de compresión lz4raw para Parquet SPARK-43273
  • Avro: escribir uniones complejas SPARK-25050
  • Aceleración de la inferencia del tipo Timestamp con el formato proporcionado por el usuario en la fuente de datos JSON/CSV SPARK-39280
  • Avro soportará el tipo decimal personalizado respaldado por Long SPARK-43901
  • Evitar barajar en Storage-Partitioned Join cuando las claves de partición no coinciden, pero las expresiones join son compatibles. SPARK-41413
  • Cambiar binario a dataType no admitido en formato CSV SPARK-42237
  • Permitir que Avro convierta el tipo de unión a SQL con el nombre de campo estable con el tipo SPARK-43333
  • Aceleración de la inferencia de tipo Timestamp con formato heredado en fuente de datos JSON/CSV SPARK-39281

Optimización de las consultas

  • La eliminación de subexpresiones admite la expresión abreviada SPARK-42815
  • Mejorar la estimación de las estadísticas de unión si una de las partes puede mantener la unicidad SPARK-39851
  • Introducir el límite de grupo de Ventana para el filtro basado en rangos para optimizar el cálculo top-k SPARK-37099
  • Corrección del comportamiento de IN nulo (lista vacía) en las reglas de optimización SPARK-44431
  • Inferir y empujar hacia abajo el límite de la ventana a través de la ventana si partitionSpec está vacío SPARK-41171
  • Eliminar la unión externa si todas son funciones agregadas distintas SPARK-42583
  • Contraer dos ventanas adyacentes con la misma partición o orden en la subconsulta SPARK-42525
  • Reducción del límite mediante UDF de Python SPARK-42115
  • Optimización del orden de los predicados de filtrado SPARK-40045

Generación de código y ejecución de consultas

  • El filtro en tiempo de ejecución debe admitir la combinación aleatoria de varios niveles como el lado de creación del filtro SPARK-41674
  • Compatibilidad de Codegen con HiveSimpleUDF SPARK-42052
  • Compatibilidad de Codegen con HiveGenericUDF SPARK-42051
  • Compatibilidad con Codegen para la combinación de hash aleatorio externa del lado de compilación SPARK-44060
  • Implementar la generación de código para la función to_csv (StructsToCsv) SPARK-42169
  • Hacer que AQE admita InMemoryTableScanExec SPARK-42101
  • Compatibilidad con la combinación de unión externa a la izquierda o la combinación de unión externa a la derecha en una combinación hash aleatoria SPARK-36612
  • Respeto RequiresDistributionAndOrdering en CTAS/RTAS SPARK-43088
  • Depósitos de fusión en combinación aplicados en la secuencia de combinación de difusión SPARK-43107
  • Establezca correctamente un valor NULL en la clave de combinación combinado en combinación externa completa using SPARK-44251
  • Corrección en la subconsulta ListQuery nullability SPARK-43413

Otros cambios importantes

  • Establecer correctamente valores NULL para las claves de USING joins SPARK-43718
  • Corrección COUNT(*) es un error nulo en la subconsulta escalar correlacionada SPARK-43156
  • Dataframe.joinWith outer-join debe devolver un valor NULL para la fila no que no coincide SPARK-37829
  • Renombrar automáticamente las columnas de metadatos conflictivas SPARK-42683
  • Documentar las clases de error de Spark SQL en la documentación orientada al usuario SPARK-42706

PySpark

Características

  • Compatibilidad con parámetros posicionales en Python sql() SPARK-44140
  • Soporte de SQL parametrizado por sql() SPARK-41666
  • Compatibilidad con las funciones de tabla definidas por el usuario de Python SPARK-43797
  • Soporte para establecer el ejecutable de Python para UDF y APIs de funciones pandas en workers durante el tiempo de ejecución. SPARK-43574
  • Adición de DataFrame.offset a PySpark SPARK-43213
  • Implemente dir() en pyspark.sql.dataframe.DataFrame para incluir columnas SPARK-43270
  • Añadir la opción de utilizar vectores de gran anchura variable para las operaciones UDF de flecha SPARK-39979
  • Hacer que mapInPandas/mapInArrow admita la ejecución del modo de barrera SPARK-42896
  • Adición de API jobTag a PySpark SparkContext SPARK-44194
  • Compatibilidad con UDTF de Python para analizar en Python SPARK-44380
  • Exponer TimestampNTZType en pyspark.sql.types SPARK-43759
  • Compatibilidad con el tipo de marca de tiempo anidada SPARK-43545
  • Compatibilidad con UserDefinedType en createDataFrame desde dataFrame de pandas y toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Adición de la opción binaria descriptor a pyspark Protobuf API SPARK-43799
  • Aceptar tuplas genéricas como pistas de tipado de Pandas UDF SPARK-43886
  • Adición de array_prepend función SPARK-41233
  • Agregar assertDataFrameEqual util function SPARK-44061
  • Compatibilidad con UDF de Python optimizadas para flechas SPARK-43964
  • Permitir precisión personalizada para fp aprox igualdad SPARK-44217
  • Hacer público el API assertSchemaEqual SPARK-44216
  • Compatibilidad con fill_value para ps. Serie SPARK-42094
  • Compatibilidad con tipo struct en createDataFrame a partir de pandas DataFrame SPARK-43473

Otros cambios importantes

  • Se ha agregado compatibilidad con autocompletar para df[|] en pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Dejar en desuso y eliminar las API que se eliminarán en pandas 2.0 [SPARK-42593]
  • Haga de Python la primera pestaña para ejemplos de código: Spark SQL, DataFrames and Datasets Guide SPARK-42493
  • Actualización de los ejemplos de código de documentación restantes de Spark para mostrar Python de forma predeterminada SPARK-42642
  • Usar nombres de campo desduplicados al crear Arrow RecordBatch [SPARK-41971]
  • Compatibilidad con nombres de campo duplicados en createDataFrame con dataFrame pandas [SPARK-43528]
  • Permitir parámetro columnas al crear DataFrame con Series [SPARK-42194]

Principal

  • Programar mergeFinalize cuando se reintenta push merge shuffleMapStage pero no hay tareas en ejecución SPARK-40082
  • Introducción de PartitionEvaluator para la ejecución del operador SQL SPARK-43061
  • Permitir que ShuffleDriverComponent declare si los datos aleatorios se almacenan de forma confiable SPARK-42689
  • Añadir limitación de intentos máximos en las etapas para evitar posibles reintentos infinitos. SPARK-42577
  • Compatibilidad de la configuración del nivel de registro con Spark conf estático SPARK-43782
  • Optimizar PercentileHeap SPARK-42528
  • Agregue el argumento reason a TaskScheduler.cancelTasks SPARK-42602
  • Evitar que se vuelva a ejecutar una tarea innecesaria en el ejecutor retirado perdido si se migran datos aleatorios SPARK-41469
  • Corrección de la falta de recuento del acumulador en el caso de la tarea de reintento con caché rdd SPARK-41497
  • Uso de RocksDB para spark.history.store.hybridStore.diskBackend de forma predeterminada SPARK-42277
  • Contenedor NonFateSharingCache para Guava Cache SPARK-43300
  • Mejora del rendimiento de MapOutputTracker.updateMapOutput SPARK-43043
  • Permitir que las aplicaciones controlen si el Servicio Shuffle externo guarda sus metadatos en la base de datos. SPARK-43179
  • Agregar SPARK_DRIVER_POD_IP variable env a pods executor SPARK-42769
  • Monta el mapa de configuración de Hadoop en el pod ejecutor SPARK-43504

Transmisión Estructurada

  • Se ha agregado compatibilidad con el seguimiento del uso de memoria de bloques anclados para el almacén de estado de RocksDB SPARK-43120
  • Agregar mejoras de administración de memoria del proveedor del almacén de estado de RocksDB SPARK-43311
  • Introducción a dropDuplicatesWithinWatermark SPARK-42931
  • Introduce una nueva devolución de llamada onQueryIdle() a StreamingQueryListener SPARK-43183
  • Agregue la opción para omitir el coordinador de confirmaciones como parte de la API de StreamingWrite para orígenes o receptores de DSv2 spark-42968
  • Introduce una nueva devolución “de llamada onQueryIdle” to StreamingQueryListener SPARK-43183
  • Implementación de puntos de comprobación basados en el registro de cambios para el proveedor del almacén de estado de RocksDB SPARK-43421
  • Se ha agregado compatibilidad con WRITE_FLUSH_BYTES para RocksDB que se usan en operadores con estado de streaming SPARK-42792
  • Se ha agregado compatibilidad para establecer max_write_buffer_number y write_buffer_size para RocksDB que se usan en streaming SPARK-42819
  • La adquisición de bloqueos stateStore de RocksDB debe producirse después de obtener el iterador de entradaRDD SPARK-42566
  • Introducir la propagación de marcas de agua entre los operadores SPARK-42376
  • Limpieza de archivos de registro y sst huérfanos en el directorio de puntos de control de RocksDB SPARK-42353
  • Expanda QueryTerminatedEvent para contener la clase de error si existe en excepción SPARK-43482

ML

  • Compatibilidad con el entrenamiento distribuido de funciones mediante Deepspeed SPARK-44264
  • Interfaces base de sparkML para spark3.5: estimator/transformer/model/evaluador SPARK-43516
  • Make MLv2 (ML on spark connect) admite pandas >= 2.0 SPARK-43783
  • Actualización de las interfaces de transformador MLv2 SPARK-43516
  • Nuevo estimador de regresión logística de pyspark ML implementado sobre el distribuidor SPARK-43097
  • Agregue Classifier.getNumClasses de nuevo SPARK-42526
  • Escribir una clase deepspeed distributed learning DeepspeedTorchDistributor SPARK-44264
  • Implementación básica de almacenamiento y carga para ML en spark connect SPARK-43981
  • Mejora del modelo de regresión logística guardando SPARK-43097
  • Implementación del estimador de canalización para ML en Spark Connect SPARK-43982
  • Implementación del estimador de validador cruzado SPARK-43983
  • Implementación del evaluador de clasificación SPARK-44250
  • Hacer que el distribuidor de PyTorch sea compatible con Spark Connect SPARK-42993

Interfaz de usuario

  • Agregar una página de interfaz de usuario de Spark para Spark Connect SPARK-44394
  • Compatibilidad con la columna Histograma del montón en la pestaña Ejecutores SPARK-44153
  • Mostrar el mensaje de error en la interfaz de usuario para cada consulta con errores SPARK-44367
  • SMostrar tiempo de adición o eliminación de ejecutores en la pestaña Ejecutores SPARK-44309

Compilación y otros

Eliminaciones, cambios de comportamiento y desusos

Próxima eliminación

Las siguientes características se quitarán en la próxima versión principal de Spark

  • La compatibilidad con Java 8 y Java 11 y la versión mínima compatible de Java será Java 17
  • La compatibilidad con Scala 2.12 y la versión mínima admitida de Scala será la 2.13

Guías de migración

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
"asttokens" 2.0.5 atributos 22.1.0 llamada de retorno 0.2.0
beautifulsoup4 4.11.1 negro 22.6.0 blanquear 4.1.0
intermitente 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.4 Comunicación 0.1.2
contourpy 1.0.5 criptografía 39.0.1 ciclista 0.11.0
Cython 0.29.32 SDK de Databricks 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 defusedxml 0.7.1
distlib 0.3.7 Conversión de docstring a markdown 0,11 puntos de entrada 0,4
Ejecutar 0.8.3 visión general de las facetas 1.1.1 fastjsonschema 2.18.0
bloqueo de archivos 3.12.2 fonttools 4.25.0 Biblioteca en tiempo de ejecución de GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 jeepney (autobús colectivo típico de Filipinas) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
llavero 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mal sintonizado 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 cuaderno 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 empaquetado 22,0
Pandas 1.5.3 PandocFiltros 1.5.0 parso 0.8.3
especificación de ruta (pathspec) 0.10.3 chivo expiatorio 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Almohada 9.4.0 pepita 22.3.1
platformdirs 2.5.2 trazado 5.9.0 pluggy 1.0.0
Cliente-Prometeo 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1
configuración de herramienta Python 1.2.5 pytz 2022.7 pyzmq 23.2.0
solicitudes 2.28.1 cuerda 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 biblioteca de visualización de datos de Python llamada seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 six (seis) 1.16.0
sniffio 1.2.0 colador para sopa 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels (paquete de Python para análisis estadístico) 0.13.5 tenacidad 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
actualizaciones desatendidas 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 codificaciones web 0.5.1
cliente de websocket 0.58.0 ¿Qué es el parche? 1.0.2 rueda 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2023-07-13.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 12.0.1 askpass 1.1 asegúrate de que 0.2.1
retroportaciones 1.4.1 base 4.3.1 base64enc 0.1-3
poco 4.0.5 bit 64 4.0.5 mancha 1.2.4
bota 1.3-28 fermentar 1,0 - 8 Brio 1.1.3
escoba 1.0.5 bslib 0.5.0 cachemir 1.0.8
callr 3.7.3 cursor 6.0-94 cellranger (herramienta de análisis de datos celulares) 1.1.0
Chron 2.3-61 clase 7.3-22 Cli 3.6.1
clipr 0.8.0 reloj 0.7.0 conglomerado 2.1.4
codetools 0.2-19 espacio de colores 2.1-0 commonmark 1.9.0
compilador 4.3.1 configuración 0.3.1 en conflicto 1.2.0
cpp11 0.4.4 crayón 1.5.2 credenciales 1.3.2
rizo 5.0.1 tabla de datos 1.14.8 conjuntos de datos 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Descripción 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
digerir 0.6.33 iluminado hacia abajo 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 elipsis 0.3.2
evaluar 0,21 fans 1.0.4 colores 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 convictos 1.0.0
foreach 1.5.2 extranjero 0.8-82 fragua 0.2.0
Fs 1.6.2 futuro 1.33.0 aplicación futura 1.11.0
hacer gárgaras 1.5.1 genéricos 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globales 0.16.2 pegamento 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
elementos gráficos 4.3.1 grDevices 4.3.1 rejilla 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
Casco 1.3.0 refugio 2.5.3 más alto 0,10
HMS 1.1.3 herramientas de HTML 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Identificadores 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 tejido 1,43
etiquetado 0.4.2 más tarde 1.3.1 retícula 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Formato Markdown 1.7
MASA 7.3-60 Matriz 1.5-4.1 memorizar 2.0.1
métodos 4.3.1 mgcv 1.8-42 mimo 0,12
miniUI (Interfaz de Usuario) 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl (software de cifrado) 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 elogio 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progreso 1.2.2
progressr 0.13.0 promesas 1.2.0.1 prototipo 1.0.0
intermediario 0.4-27 P.D 1.7.5 ronroneo 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
Bosque Aleatorio (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recetas 1.0.6
partido de revancha 1.0.1 segunda revancha 2.1.2 Telecontroles 2.4.2
ejemplo reproducible 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 balanzas 1.2.1
selectr 0.4-2 información de sesión 1.2.2 forma 1.4.6
brillante 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 espacial 7.3-15 Splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 Estadísticas 4.3.1
estadísticas4 4.3.1 stringi 1.7.12 stringr 1.5.0
supervivencia 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 Formateo de texto 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 cambio de hora 0.2.0 fechaHora 4022.108
tinytex 0.45 herramientas 4.3.1 tzdb 0.4.0
verificador de URL 1.0.1 usa esto 2.2.2 utf8 1.2.3
utilidades 4.3.1 Identificador Único Universal (UUID) 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
bigotes 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 cremallera 2.3.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws SDK de AWS para Java - Soporte 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1 nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1 nativos
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone anotaciones_propensas_a_errores 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger perfilador 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics anotación de métricas 4.2.19
io.dropwizard.metrics núcleo de métricas 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas y verificaciones de salud 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus cliente_simple_común 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolución javolución 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine escabeche 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant lanzador de aplicaciones Ant 1.9.16
org.apache.arrow formato de flecha 12.0.1
org.apache.arrow núcleo de memoria de flecha 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow vector de flecha 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curador-recetas 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API de almacenamiento de hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hiedra 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc calzos de orco 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotaciones de audiencia 0.13.0
org.apache.zookeeper guardián de zoológico 3.6.3
org.apache.zookeeper Zookeeper-Jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty Seguridad de Jetty 9.4.51.v20230217
org.eclipse.jetty servidor Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty Aplicación web de Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket-API 9.4.51.v20230217
org.eclipse.jetty.websocket cliente de websocket 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket servidor de websocket 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de contenedor de Jersey 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator validador de hibernación 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Cuñas 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible con ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on