Databricks Runtime 8.4 (sin soporte técnico)
En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 8.4 y Databricks Runtime 8.4 Photon, con tecnología de Apache Spark 3.1.2. Databricks publicó estas imágenes en julio de 2021. Photon se encuentra en versión preliminar pública.
Nuevas características y mejoras
- Característica y mejoras de Delta Lake
- Características y mejoras del cargador automático
- Actualizaciones de los conectores
- Correcciones de errores
Característica y mejoras de Delta Lake
- Fuente de distribución de datos modificados de tablas Delta (GA)
- Carga sencilla de tablas Delta compartidas con Databricks Runtime
- Más tablas se benefician de la eliminación dinámica de archivos
- Mejor rendimiento con ajuste automático del tamaño del archivo de destino
- Más formas de especificar tablas en
DeltaTable.forName - Escrituras sólidas de varias tablas de streaming mediante
foreachBatch - Rendimiento mejorado de las consultas de lectura en determinadas cargas de trabajo debido al ajuste de los puntos de control
- Creación de
GroupStatepara probar funciones de Structured Streaming definidas por el usuario
Fuente de distribución de datos modificados de tablas Delta (GA)
La fuente de distribución de datos modificados de tablas Delta ya está disponible con carácter general. Representa los cambios de nivel de fila entre las distintas versiones de la tabla. Cuando se habilita, se registra información adicional sobre los cambios de nivel de fila para cada operación de escritura en la tabla. Vea Uso de la fuente de distribución de datos de cambios de Delta Lake en Azure Databricks.
Carga sencilla de tablas Delta compartidas con Databricks Runtime
El conector de Apache Spark para Delta Sharing 0.1.0 está ahora en Databricks Runtime. Puede cargar una tabla compartida mediante spark.read.format("deltaSharing").load(uri) directamente sin asociar el conector de Spark para Delta Sharing al clúster.
Más tablas se benefician de la eliminación dinámica de archivos
La característica de eliminación dinámica de archivos se ha ajustado para desencadenarse en tablas con menos archivos. Consulte Eliminación dinámica de archivos.
Mejor rendimiento con ajuste automático del tamaño del archivo de destino
El tamaño del archivo de destino para las tablas Delta ahora se ajusta automáticamente en función del tamaño de la tabla. Anteriormente, el tamaño del archivo de destino para OPTIMIZE y OPTIMIZE ZORDER BY era de 1 GB. Con el ajuste automático basado en el tamaño de la tabla, las tablas Delta de hasta 2,56 TB usarán 256 MB como tamaño de destino. Las tablas de más de 10 TB usarán 1 GB como antes. Las tablas entre estos tamaños usarán tamaños de destino que aumentarán proporcionalmente con el tamaño de la tabla.
Consulte Configuración de Delta Lake para controlar el tamaño del archivo de datos.
Más formas de especificar tablas en DeltaTable.forName
DeltaTable.forName ahora admite el uso de delta.`<path>` para identificar las tablas.
Escrituras sólidas de varias tablas de streaming mediante foreachBatch
Ahora se admiten las escrituras idempotentes de streaming de Delta en el comando foreachBatch(). Para más información, consulte Escrituras idempotentes de varias tablas.
Rendimiento mejorado de las consultas de lectura en determinadas cargas de trabajo debido al ajuste de los puntos de control
Delta Lake ahora ajusta la frecuencia con la que realiza puntos de control mejorados. En lugar de realizar puntos de control en un intervalo fijo, Delta ahora ajusta dinámicamente la frecuencia de los puntos de control en función de determinados desencadenadores de eventos. De esta forma, se mejora el rendimiento de las consultas de lectura en cargas de trabajo en las que no se pudo aplicar antes alguna optimización de omisión de datos. Para usar estas optimizaciones, actualice los trabajos que escriban en Delta Lake a Databricks Runtime 8.4. Consulte Habilitar puntos de control mejorados para consultas de Structured Streaming.
Creación de GroupState para probar funciones de Structured Streaming definidas por el usuario
Hasta ahora, solo el motor de Structured Streaming podía crear instancias de GroupState. Por lo tanto, las pruebas unitarias de la función definida por el usuario requerían ejecutar una consulta de streaming en Apache Spark.
Ahora puede crear instancias de GroupState mediante TestGroupState.create(…). Esto permite probar una función definida por el usuario en pruebas unitarias simples que no requieren la ejecución de Spark. Consulte Probar la función de actualización mapGroupsWithState. En concreto, genera instancias de tipo TestGroupState que extienden la interfaz GroupState con métodos adicionales para inspeccionar el estado interno después de aplicar la función definida por el usuario.
Características y mejoras del cargador automático
- Configuración de la reposición para capturar archivos perdidos
- Superficie de almacenamiento enlazada para transmisiones de gran volumen
- Configuración simplificada con compatibilidad sin rutas de acceso
Configuración de la reposición para capturar archivos perdidos
El cargador automático ahora admite la realización de reposiciones de forma asincrónica para capturar los archivos que se podrían haber perdido con las notificaciones de archivo. Los sistemas de almacenamiento de archivos y los sistemas de notificaciones no pueden garantizar la entrega al 100 % de todos los eventos de archivo. Por lo tanto, Databricks recomienda habilitar reposiciones periódicas para capturar todos los datos con el cargador automático. Use la opción cloudFiles.backfillInterval para programar reposiciones periódicas en los datos. Consulte Opciones comunes del cargador automático.
Superficie de almacenamiento enlazada para transmisiones de gran volumen
Ahora puede configurar el cargador automático para que expire y quite las entradas de RocksDB a fin de enlazar su superficie de almacenamiento en la ubicación del punto de control. Databricks no recomienda el uso a menos que ingiera datos en el orden de millones de archivos por hora. Establecer esta opción incorrectamente o intentar ajustarla puede provocar muchos problemas de calidad de datos, como que los archivos sin procesar se ignoren o que se dupliquen algunos archivos en lugar de procesarse exactamente una vez. Para más información, consulte Retención de eventos.
Configuración simplificada con compatibilidad sin rutas de acceso
Cubos de S3
Ahora puede proporcionar la cola de SQS que recibe eventos de varias rutas de acceso o cubos de S3.
Si proporciona la dirección URL de la cola de SQS, la opción path no es necesaria para este caso de uso.
El cargador automático construye rutas de acceso de S3 mediante el cubo y la clave de los eventos de S3. Si quiere leer los archivos a través de puntos de montaje de DBFS, puede usar cloudFiles.pathRewrites para cambiar los prefijos de las rutas de acceso a DBFS. Esto no es necesario a menos que acceda a los datos en diferentes cuentas con AssumeRole.
Consulte Opciones de notificación de archivos.
Contenedores de Azure Data Lake Storage Gen2
Ahora puede proporcionar la cola de Azure que recibe eventos de varios contenedores.
Si proporciona el nombre de la cola de Azure, la opción path no es necesaria.
De manera predeterminada, el cargador automático construye rutas de acceso de Azure Data Lake Storage Gen2 mediante el contenedor y la clave en los eventos de archivo.
Si quiere usar rutas de acceso de WASB o puntos de montaje de DBFS, puede usar cloudFiles.pathRewrites para cambiar los prefijos de las rutas de acceso.
Consulte Opciones de notificación de archivos.
Actualizaciones de los conectores
- El conector de Snowflake para Spark se ha actualizado a la versión 2.9.0.
- El cifrado de KMS se admite ahora en la instrucción
UNLOADdel conector de Redshift.
Corrección de errores
- Se ha corregido un problema de los clústeres habilitados con el control de acceso a tablas donde el objeto
select * from folderpuede mostrar el contenido de la carpeta incluso si el usuario no tiene permiso de acceso a los archivos. - Los propietarios de bases de datos que no son administradores ahora pueden anular tablas que no poseen en las bases de datos. De esta forma, se corrige el problema que provocaba que los propietarios de bases de datos no pudiesen anular una base de datos si esta contenía tablas que no poseyesen.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- certifi se actualizó de 2020.12.5 a 2021.5.30
- distill se actualizó de 0.3.1 a 0.3.2
- koalas se actualizó de 1.8.0 a 1.8.1
- protobuf se actualizó de 3.17.0 a 3.17.3
- Bibliotecas de R actualizadas:
- base de 4.0.4 a 4.1.0
- boot de 1.3-27 a 1.3-28
- class de 7.3-18 a 7.3-19
- cluster de 2.1.1 a 2.1.2
- compiler de 4.0.4 a 4.1.0
- datasets de 4.0.4 a 4.1.0
- graphics de 4.0.4 a 4.1.0
- grDevices de 4.0.4 a 4.1.0
- grid de 4.0.4 a 4.1.0
- KernSmooth de 2.23-18 a 2.23-20
- lattice de 0.20-41 a 0.20-44
- MASS de 7.3-53.1 a 7.3-54
- Matrix de 1.3-2 a 1.3-3
- methods de 4.0.4 a 4.1.0
- mgcv de 1.8-33 a 1.8-35
- nnet de 7.3-15 a 7.3-16
- parallel de 4.0.4 a 4.1.0
- Rserve de 1.8-7 a 1.8-8
- SparkR de 3.1.1 a 3.1.2
- splines de 4.0.4 a 4.1.0
- stats de 4.0.4 a 4.1.0
- stats4 de 4.0.4 a 4.1.0
- survival de 3.2-7 a 3.2-11
- tcltk de 4.0.4 a 4.1.0
- tools de 4.0.4 a 4.1.0
- utils de 4.0.4 a 4.1.0
- Bibliotecas de Java actualizadas:
- snowflake-jdbc de 3.12.8 a 3.13.3
- spark-snowflake_2.12 de 2.8.1-spark_3.0 a 2.9.0-spark_3.1
- RoaringBitmap de 0.9.0 a 0.9.14
- shims de 0.9.0 a 0.9.14
- rocksdbjni de 6.2.2 a 6.20.3
Apache Spark
Databricks Runtime 8.4 incluye Apache Spark 3.1.2. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 8.3 (sin soporte técnico), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:
- [SPARK-35792] [SQL] La vista no debe capturar las configuraciones usadas en
RelationConversions. - [SPARK-35700][SQL] Lectura de la tabla orc char/varchar cuando se crea y escribe en sistemas externos.
- [SPARK-35636] [SQL] No se debe hacer referencia a las claves lambda fuera de la función lambda.
- [SPARK-35800] [Cherry Pick] Mejora de la capacidad de prueba de GroupState mediante la introducción de TestGroupState.
- [SPARK-35391] Corrección de la fuga de memoria en ExecutorAllocationListener.
- [SPARK-35799] [CherryPick] Corrección de la métrica allUpdatesTimeMs que mide en FlatMapGroupsWithStateExec.
- [SPARK-35763] [SS] Se quita la dependencia de enumeración de subclase de StateStoreCustomMetric.
- [SPARK-35791 [SQL] Se lanza el mapa en curso correctamente para la combinación ANTI que tiene en cuenta el valor NULL.
- [SPARK-35695] [SQL] Recopilación de métricas observadas de subárboles de ejecución adaptables y almacenados en caché.
- [SPARK-35767] [SQL] Se evita ejecutar el plan secundario dos veces en CoalesceExec.
- [SPARK-35746] [UI] Corrección de taskid en la escala de tiempo del evento de tarea de la página de fase.
- [SPARK-35673] [SQL] Corrección de la sugerencia definida por el usuario y la sugerencia no reconocida en la subconsulta.
- [SPARK-35714] [CORE] Corrección de errores de interbloqueo durante el apagado del ejecutor.
- [SPARK-35689] [SS] Adición de una advertencia de registros cuando keyWithIndexToValue devuelve un valor NULL.
- [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint no debe omitir el archivo aleatorio de solo índice durante la actualización.
- [SPARK-35643] [PYTHON] Corrección de la referencia ambigua en functions.py column().
- [SPARK-35652] [SQL] joinWith en dos tablas generadas a partir de la misma.
- [SPARK-35679] [SQL] Desbordamiento de instantToMicros.
- [SPARK-35602] [SS] Actualización del esquema de estado para poder aceptar JSON largos.
- [SPARK-35653] [SQL] Corrección de un error en la ruta de acceso interpretada de CatalystToExternalMap para Map con clases de caso como claves o valores.
- [SPARK-35296] [SQL] Se permite que Dataset.observe funcione incluso si CollectMetricsExec en una tarea controla varias particiones.
- [SPARK-35659] [SS] Se evita escribir NULL en StateStore.
- [SPARK-35665] [SQL] Resolución de UnresolvedAlias en CollectMetrics.
- [SPARK-35558] Optimización de la recuperación de varios cuantiles.
- [SPARK-35621] [SQL] Adición de la eliminación del identificador de regla a la regla TypeCoercion.
- [SPARK-35077] [SQL] Migración a transformWithPruning para las reglas del optimizador sobrantes.
- [SPARK-35610] [CORE] Corrección de la fuga de memoria introducida por el enlace de apagado de detención del ejecutor.
- [SPARK-35544] [SQL] Adición de la eliminación de patrones de árbol a las reglas del analizador.
- [SPARK-35566] [SS] Corrección de las filas de salida de StateStoreRestoreExec.
- [SPARK-35454] [SQL] [3.1] Un objeto LogicalPlan puede coincidir con varios identificadores de conjunto de datos.
- [SPARK-35538] [SQL] Migración de los sitios de llamada transformAllExpressions para usar transformAllExpressionsWithPruning.
- [SPARK-35106] [Core] [SQL] Se evitan los errores al cambiar los nombres provocados por la inexistencia del directorio de destino.
- [SPARK-35287] [SQL] Se permite que RemoveRedundantProjects conserve ProjectExec, que genera UnsafeRow para DataSourceV2ScanRelation.
- [SPARK-35495] [R] Cambio del mantenedor de SparkR para CRAN.
- [SPARK-27991] [CORE] Se aplaza la solicitud de captura en Netty OOM.
- [SPARK-35171] [R] Se declara el paquete de Markdown como una dependencia del paquete de SparkR.
- [SPARK-35454] [SQL] Un objeto LogicalPlan puede coincidir con varios identificadores de conjunto de datos.
- [SPARK-35298] [SQL] Migración a transformWithPruning para las reglas de Optimizer.scala.
- [SPARK-35480] [SQL] Se hace que percentile_approx funcione con la dinamización.
- [SPARK-35093] [SQL] AQE ahora usa el plan newQueryStage como clave para buscar intercambios almacenados en caché a fin de volver a usarlos.
- [SPARK-35146] [SQL] Migración a transformWithPruning o resolveWithPruning para reglas de finishAnalysis.scala.
- [SPARK-35411] [SQL] Adición de información esencial al serializar TreeNode a JSON.
- [SPARK-35294] [SQL] Adición de la eliminación de recorrido de árbol en reglas con archivos dedicados en el optimizador.
- [SPARK-34897] [SQL] [3.1] Compatibilidad con la conciliación de esquemas en función del índice después de la eliminación de columnas anidadas.
- [SPARK-35144] [SQL] Migración a transformWithPruning para reglas de objetos.
- [SPARK-35155] [SQL] Adición de la eliminación de identificadores de reglas a las reglas del analizador.
- [SPARK-35382] [PYTHON] Corrección de problemas de nombres de variables lambda en funciones de DataFrame anidadas en las API de Python.
- [SPARK-35359] [SQL] La inserción de datos con el tipo de datos char/varchar producirá un error cuando la longitud de los datos supere la limitación de longitud.
- [SPARK-35381] [R] Corrección de problemas de nombres de variables lambda en funciones anidadas de orden superior en las API de R.
Entorno del sistema
- Sistema operativo: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| criptografía | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| Python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| Solicitudes | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | six (seis) | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 02-11-2020.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | clase | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.1.0 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | credentials | 1.3.0 |
| diafonía | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| conjuntos de datos | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| ellipsis | 0.3.1 | evaluate | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | generics | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | elementos gráficos | 4.1.0 |
| grDevices | 4.1.0 | grid | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | Matriz | 1.3-3 |
| memoise | 1.1.0 | methods | 4.1.0 | mgcv | 1.8-35 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| progreso | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2,10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0,28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0,4 | withr | 2.3.0 |
| xfun | 0,19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,30 |
| org.glassfish.jersey.core | jersey-client | 2,30 |
| org.glassfish.jersey.core | jersey-common | 2,30 |
| org.glassfish.jersey.core | jersey-server | 2,30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2,30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1,0 |
| org.scalanlp | breeze_2.12 | 1,0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |