Comparteix via


Databricks Runtime 8.4 (EoS)

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 8.4 y Databricks Runtime 8.4 Photon, con tecnología de Apache Spark 3.1.2. Databricks publicó esta versión en julio de 2021. Photon se encuentra en versión preliminar pública.

Nuevas características y mejoras

Característica y mejoras de Delta Lake

Flujo de datos de cambios en la tabla Delta (GA)

La fuente de distribución de datos de cambios de la tabla Delta ahora está disponible con carácter general. Representa los cambios de nivel de fila entre diferentes versiones de la tabla. Cuando está habilitada, se registra información adicional sobre los cambios de nivel de fila para cada operación de escritura de la tabla. Vea Uso de la fuente de distribución de datos de cambios de Delta Lake en Azure Databricks.

Carga de tablas delta compartidas fácilmente con Databricks Runtime

El conector de Apache Spark para Delta Sharing 0.1.0 está ahora en Databricks Runtime. Puede cargar una tabla compartida mediante spark.read.format("deltaSharing").load(uri) directamente sin adjuntar el conector delta Sharing Spark al clúster.

Más tablas se benefician de la eliminación dinámica de archivos

La característica de eliminación dinámica de archivos se ha optimizado para desencadenarse en tablas con menos archivos. Consulte Eliminación dinámica de archivos.

Mejor rendimiento con ajuste automático del tamaño del archivo de destino

El tamaño del archivo de destino para las tablas Delta ahora se ajusta automáticamente en función del tamaño de la tabla. Anteriormente, el tamaño del archivo de destino para OPTIMIZE y OPTIMIZE ZORDER BY era de 1 GB. Con el ajuste automático basado en el tamaño de tabla, las tablas Delta de hasta 2,56 TB usarán 256 MB como tamaño de destino. Las tablas de más de 10 TB usarán 1 GB como antes. Las tablas entre estos tamaños usarán tamaños de destino que crecen proporcionalmente con el tamaño de la tabla. Consulte Configuración de Delta Lake para controlar el tamaño del archivo de datos.

Más formas de especificar tablas en DeltaTable.forName

DeltaTable.forName ahora admite el uso delta.`<path>` de para identificar tablas.

Escritura robusta en múltiples tablas mediante foreachBatch

Ahora se admiten las escrituras idempotentes de streaming de Delta en el comando foreachBatch(). Para obtener más información, consulte Escrituras de varias tablas Idempotentes.

Rendimiento mejorado de las consultas de lectura en determinadas cargas de trabajo debido al ajuste de los puntos de control

Delta Lake ahora ajusta la frecuencia con la que realiza puntos de control mejorados. En lugar de realizar puntos de control en un intervalo fijo, Delta ahora ajusta dinámicamente la frecuencia de los puntos de control en función de determinados desencadenadores de eventos. Esto mejora el rendimiento de las consultas de lectura en las cargas de trabajo en las que no se pudo aplicar alguna optimización de omisión de datos antes. Para usar estas optimizaciones, actualice los trabajos que escriban en Delta Lake a Databricks Runtime 8.4.

Creación de GroupState para probar funciones de Structured Streaming definidas por el usuario

Hasta ahora, solo el motor de Structured Streaming podía crear instancias de GroupState. Por lo tanto, las pruebas unitarias de la función definida por el usuario requerían ejecutar una consulta de streaming en Apache Spark.

Ahora puede crear instancias de GroupState mediante TestGroupState.create(…). Esto permite probar una función definida por el usuario en pruebas unitarias simples que no requieren la ejecución de Spark. Consulte Probar la mapGroupsWithState función de actualización. En concreto, genera instancias de tipo TestGroupState que extienden la interfaz GroupState con métodos adicionales para inspeccionar el estado interno después de aplicar la función definida por el usuario.

Características y mejoras del cargador automático

Configuración de la reposición para capturar archivos perdidos

El cargador automático ahora admite la realización de reposiciones de forma asincrónica para capturar los archivos que se podrían haber perdido con las notificaciones de archivo. Los sistemas de almacenamiento de archivos y los sistemas de notificaciones no pueden garantizar la entrega al 100 % de todos los eventos de archivo. Por lo tanto, Databricks recomienda habilitar reposiciones periódicas para capturar todos los datos con el cargador automático. Use la opción cloudFiles.backfillInterval para programar reposiciones periódicas en los datos. Consulte Opciones comunes del cargador automático.

Superficie de almacenamiento enlazada para transmisiones de gran volumen

Ahora puede configurar Auto Loader para que expire y quite las entradas de RocksDB y limitar su espacio de almacenamiento en la ubicación del punto de control. Databricks no recomienda el uso a menos que ingiera datos en el orden de millones de archivos por hora. Establecer esta opción incorrectamente o intentar ajustarla puede provocar muchos problemas de calidad de datos, como que los archivos sin procesar se ignoren o que se dupliquen algunos archivos en lugar de procesarse exactamente una vez. Para obtener más información, consulte Seguimiento de eventos de archivo.

Configuración simplificada con compatibilidad sin rutas de acceso

Cubos de S3

Ahora puede proporcionar la cola de SQS que recibe eventos de varias rutas de acceso o cubos de S3. Si proporciona la dirección URL de la cola de SQS, la opción path no es necesaria para este caso de uso. El cargador automático construye rutas de acceso de S3 mediante el cubo y la clave de los eventos de S3. Si quiere leer los archivos a través de puntos de montaje de DBFS, puede usar cloudFiles.pathRewrites para cambiar los prefijos de las rutas de acceso a DBFS. Esto no es necesario a no ser que esté accediendo a datos de diferentes cuentas con AssumeRole.

Consulte Opciones de notificación de archivos.

Contenedores de Azure Data Lake Storage

Ahora puede proporcionar la cola de Azure que recibe eventos de varios contenedores. Si proporciona el nombre de la cola de Azure, la opción path no es necesaria. De forma predeterminada, Auto Loader construye rutas de acceso de Azure Data Lake Storage mediante el contenedor y la clave de los eventos de archivo. Si quiere usar rutas de acceso de WASB o puntos de montaje de DBFS, puede usar cloudFiles.pathRewrites para cambiar los prefijos de las rutas de acceso.

Consulte Opciones de notificación de archivos.

Actualizaciones de los conectores

  • El conector de Snowflake para Spark se ha actualizado a la versión 2.9.0.
  • El cifrado de KMS se admite ahora en la instrucción UNLOAD del conector de Redshift.

Corrección de errores

  • Se ha corregido un problema para los clústeres habilitados con el control de acceso a tablas, donde select * from folder puede mostrar el contenido de la carpeta incluso si el usuario no tiene permiso de acceso a archivos.
  • Los propietarios de bases de datos que no son administradores ahora pueden quitar tablas que no son de propiedad en las bases de datos. Esto corrige el problema por el que los propietarios de la base de datos no podían quitar una base de datos si existían tablas que no son de propiedad en la base de datos.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • certifi se actualizó de 2020.12.5 a 2021.5.30
    • distill se actualizó de 0.3.1 a 0.3.2
    • koalas se actualizó de 1.8.0 a 1.8.1
    • protobuf se actualizó de 3.17.0 a 3.17.3
  • Bibliotecas de R actualizadas:
    • base de 4.0.4 a 4.1.0
    • boot de 1.3-27 a 1.3-28
    • class de 7.3-18 a 7.3-19
    • cluster de 2.1.1 a 2.1.2
    • compiler de 4.0.4 a 4.1.0
    • datasets de 4.0.4 a 4.1.0
    • graphics de 4.0.4 a 4.1.0
    • grDevices de 4.0.4 a 4.1.0
    • grid de 4.0.4 a 4.1.0
    • KernSmooth de 2.23-18 a 2.23-20
    • lattice de 0.20-41 a 0.20-44
    • MASS de 7.3-53.1 a 7.3-54
    • Matrix de 1.3-2 a 1.3-3
    • methods de 4.0.4 a 4.1.0
    • mgcv de 1.8-33 a 1.8-35
    • nnet de 7.3-15 a 7.3-16
    • parallel de 4.0.4 a 4.1.0
    • Rserve de 1.8-7 a 1.8-8
    • SparkR de 3.1.1 a 3.1.2
    • splines de 4.0.4 a 4.1.0
    • stats de 4.0.4 a 4.1.0
    • stats4 de 4.0.4 a 4.1.0
    • survival de 3.2-7 a 3.2-11
    • tcltk de 4.0.4 a 4.1.0
    • tools de 4.0.4 a 4.1.0
    • utils de 4.0.4 a 4.1.0
  • Bibliotecas de Java actualizadas:
    • snowflake-jdbc de 3.12.8 a 3.13.3
    • spark-snowflake_2.12 de 2.8.1-spark_3.0 a 2.9.0-spark_3.1
    • RoaringBitmap de 0.9.0 a 0.9.14
    • shims de 0.9.0 a 0.9.14
    • rocksdbjni de 6.2.2 a 6.20.3

Apache Spark

Databricks Runtime 8.4 incluye Apache Spark 3.1.2. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 8.3 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-35792] [SQL] La vista no debe capturar las configuraciones usadas en RelationConversions.
  • [SPARK-35700] [SQL] Leer una tabla orc de char/varchar que fue creada y escrita por sistemas externos
  • [SPARK-35636] [SQL] No se debe hacer referencia a las claves lambda fuera de la función lambda.
  • [SPARK-35800] [Cherry Pick] Mejora de la capacidad de prueba de GroupState mediante la introducción de TestGroupState.
  • [SPARK-35391] Corrección de la fuga de memoria en ExecutorAllocationListener.
  • [SPARK-35799] [CherryPick] Corrección de la métrica allUpdatesTimeMs que mide en FlatMapGroupsWithStateExec.
  • [SPARK-35763] [SS] Quitar la dependencia de enumeración de la subclase StateStoreCustomMetric
  • [SPARK-35791 [SQL] Liberar adecuadamente el mapa en curso para la unión anti que tenga en cuenta NULL
  • [SPARK-35695] [SQL] Recopilación de métricas observadas de subárboles de ejecución adaptables y almacenados en caché.
  • [SPARK-35767] [SQL] Se evita ejecutar el plan secundario dos veces en CoalesceExec.
  • [SPARK-35746] [UI] Corrección de taskid en la escala de tiempo del evento de tarea de la página de fase.
  • [SPARK-35673] [SQL] Corrección de la sugerencia definida por el usuario y la sugerencia no reconocida en la subconsulta.
  • [SPARK-35714] [CORE] Corrección de errores de interbloqueo durante el apagado del ejecutor.
  • [SPARK-35689] [SS] Adición de una advertencia de registros cuando keyWithIndexToValue devuelve un valor NULL.
  • [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint no debe omitir el archivo aleatorio de solo índice durante la actualización.
  • [SPARK-35643] [PYTHON] Corrección de referencia ambigua en functions.py column()
  • [SPARK-35652] [SQL] joinWith en dos tablas generadas a partir de una sola tabla
  • [SPARK-35679] [SQL] Desbordamiento de instantToMicros.
  • [SPARK-35602] [ SS] Actualizar esquema de estado para poder aceptar JSON de longitud larga
  • [SPARK-35653] [SQL] Solucionar el fallo en la ruta de acceso interpretada de CatalystToExternalMap para Map con clases de caso como claves o valores.
  • [SPARK-35296] [SQL] Se permite que Dataset.observe funcione incluso si CollectMetricsExec en una tarea controla varias particiones.
  • [SPARK-35659] [SS] Se evita escribir NULL en StateStore.
  • [SPARK-35665] [SQL] Resolución de UnresolvedAlias en CollectMetrics.
  • [SPARK-35558] Optimización de la recuperación de varios cuantiles.
  • [SPARK-35621] [SQL] Adición de la eliminación del identificador de regla a la regla TypeCoercion.
  • [SPARK-35077] [SQL] Migración a transformWithPruning para las reglas del optimizador sobrantes.
  • [SPARK-35610] [CORE] Corrección de la fuga de memoria introducida por el enlace de detención de apagado del ejecutor
  • [SPARK-35544] [SQL] Adición de la eliminación de patrones de árbol a las reglas del analizador.
  • [SPARK-35566] [SS] Corrección de las filas de salida de StateStoreRestoreExec.
  • [SPARK-35454] [SQL] [3.1] Un objeto LogicalPlan puede coincidir con varios identificadores de conjunto de datos.
  • [SPARK-35538] [SQL] Migración de los sitios de llamada transformAllExpressions para usar transformAllExpressionsWithPruning.
  • [SPARK-35106] [Core][sql] Evitar un fallo de cambio de nombre debido a que el directorio de destino no existe
  • [SPARK-35287] [SQL] Se permite que RemoveRedundantProjects conserve ProjectExec, que genera UnsafeRow para DataSourceV2ScanRelation.
  • [SPARK-35495] [R] Cambio del mantenedor de SparkR para CRAN.
  • [SPARK-27991] [CORE] Se aplaza la solicitud de captura en Netty OOM.
  • [SPARK-35171] [R] Se declara el paquete de Markdown como una dependencia del paquete de SparkR.
  • [SPARK-35454] [SQL] Un objeto LogicalPlan puede coincidir con varios identificadores de conjunto de datos.
  • [SPARK-35298] [SQL] Migración a transformWithPruning para las reglas de Optimizer.scala.
  • [SPARK-35480] [SQL] Hacer que percentile_approx funcione con pivote
  • [SPARK-35093] [SQL] AQE ahora usa el plan newQueryStage como clave para buscar intercambios almacenados en caché a fin de volver a usarlos.
  • [SPARK-35146] [SQL] Migración a transformWithPruning o resolveWithPruning para reglas de finishAnalysis.scala.
  • [SPARK-35411] [SQL] Adición de información esencial al serializar TreeNode a JSON.
  • [SPARK-35294] [SQL] Adición de la eliminación de recorrido de árbol en reglas con archivos dedicados en el optimizador.
  • [SPARK-34897] [SQL][3.1] Soporte para reconciliar esquemas basados en el índice después de la poda de columnas anidadas
  • [SPARK-35144] [SQL] Migración a transformWithPruning para reglas de objetos.
  • [SPARK-35155] [SQL] Adición de la eliminación de identificadores de reglas a las reglas del analizador.
  • [SPARK-35382] [PYTHON] Corrección de problemas de nombres de variables lambda en funciones de DataFrame anidadas en las API de Python.
  • [SPARK-35359] [SQL] Se producirá un error al insertar datos con el tipo de datos char/varchar cuando la longitud de los datos supere la limitación de longitud.
  • [SPARK-35381] [R] Corrección de problemas de nombres de variables lambda en funciones anidadas de orden superior en las API de R.

Entorno del sistema

  • Sistema operativo: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
directorios de aplicaciones 1.4.4 asn1crypto 1.4.0 llamada de retorno 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
criptografía 3.1.1 ciclista 0.10.0 Cython 0.29.21
decorador 4.4.2 distlib 0.3.2 docutils 0.15.2
puntos de entrada 0,3 visión general de las facetas 1.0.0 bloqueo de archivos 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 Cliente Jupyter 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
chivo expiatorio 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pepita 20.2.4 trazado 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pigmentos 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
Solicitudes 2.24.0 Reintentando 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 biblioteca de visualización de datos de Python llamada seaborn 0.10.0
setuptools 50.3.1 six (seis) 1.15.0 statsmodels (paquete de Python para análisis estadístico) 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
rueda 0.35.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 02-11-2020.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 asegúrate de que 0.2.1 retroportaciones 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
poco 4.0.4 bit 64 4.0.5 mancha 1.2.1
bota 1.3-28 fermentar 1.0-6 Brio 1.1.0
escoba 0.7.2 callr 3.5.1 cursor 6.0-86
cellranger (herramienta de análisis de datos celulares) 1.1.0 Chron 2.3-56 clase 7.3-19
Cli 2.2.0 clipr 0.7.1 conglomerado 2.1.2
codetools 0.2-18 espacio de colores 2.0-0 commonmark 1.7
compilador 4.1.0 configuración 0,3 cubierta 3.5.1
cpp11 0.2.4 crayón 1.3.4 credenciales 1.3.0
diafonía 1.1.0.1 rizo 4.3 tabla de datos 1.13.4
conjuntos de datos 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Descripción 1.2.0 devtools 2.3.2 diffobj 0.3.2
digerir 0.6.27 dplyr 1.0.2 DIRECTOR TÉCNICO 0,16
elipsis 0.3.1 evaluar 0.14 fans 0.4.1
colores 2.0.3 mapa rápido 1.0.1 convictos 0.5.0
foreach 1.5.1 extranjero 0.8-81 fragua 0.2.0
Fs 1.5.0 futuro 1.21.0 genéricos 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globales 0.14.0
pegamento 1.4.2 Gower 0.2.2 elementos gráficos 4.1.0
grDevices 4.1.0 rejilla 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 refugio 2.3.1
más alto 0.8 HMS 0.5.3 herramientas de HTML 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteradores 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 tejido 1,30
etiquetado 0.4.2 más tarde 1.1.0.1 retícula 0.20-44
lava 1.6.8.1 evaluación diferida 0.2.2 ciclo de vida 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Formato Markdown 1.1 MASA 7.3-54 Matriz 1.3-3
memorizar 1.1.0 métodos 4.1.0 mgcv 1.8-35
mimo 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl (software de cifrado) 1.4.3 paralelo 4.1.0
Paralelamente 1.22.0 pilar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 elogio 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
progreso 1.2.2 promesas 1.1.1 prototipo 1.0.0
P.D 1.5.0 ronroneo 0.3.4 r2d3 0.2.3
R6 2.5.0 Bosque Aleatorio (randomForest) 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recetas 0.1.15
partido de revancha 1.0.1 segunda revancha 2.1.2 Telecontroles 2.2.0
ejemplo reproducible 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 balanzas 1.1.1
selectr 0.4-2 información de sesión 1.1.1 forma 1.4.5
brillante 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 espacial 7.3-11 Splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 Estadísticas 4.1.0
estadísticas4 4.1.0 stringi 1.5.3 stringr 1.4.0
supervivencia 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
fechaHora 3043.102 tinytex 0,28 herramientas 4.1.0
usa esto 2.0.0 utf8 1.1.4 utilidades 4.1.0
Identificador Único Universal (UUID) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 bigotes 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 cremallera 2.1.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws SDK de AWS para Java - Soporte 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger perfilador 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.VERSIÓN
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics núcleo de métricas 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas y verificaciones de salud 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics métricas-JVM 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus cliente_simple_común 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolución javolución 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolita 4,30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lanzador de aplicaciones Ant 1.9.2
org.apache.arrow formato de flecha 2.0.0
org.apache.arrow núcleo de memoria de flecha 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow vector de flecha 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator marco de trabajo para curadores 2.7.1
org.apache.curator curador-recetas 2.7.1
org.apache.derby derbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop anotaciones de Hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-cliente 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop Hadoop-HDFS 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive Hive-shims 2.3.7
org.apache.hive API de almacenamiento de hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.7
org.apache.htrace htrace-core 3.1.0-incubación
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hiedra 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc calzos de orco 1.5.12
org.apache.parquet parquet-columna 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet codificación de parquet 1.10.1-databricks9
org.apache.parquet formato parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7 sombreado 4.15
org.apache.yetus anotaciones de audiencia 0.5.0
org.apache.zookeeper guardián de zoológico 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty Seguridad de Jetty 9.4.36.v20210114
org.eclipse.jetty servidor Jetty 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty Aplicación web de Jetty 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de contenedor de Jersey 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey común 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator validador de hibernación 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Cuñas 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark no utilizado 1.0.0
org.springframework spring-core 4.1.4.LANZAMIENTO
org.springframework Prueba de primavera 4.1.4.LANZAMIENTO
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel maquinista_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52