Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.
En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 8.4 y Databricks Runtime 8.4 Photon, con tecnología de Apache Spark 3.1.2. Databricks publicó esta versión en julio de 2021. Photon se encuentra en versión preliminar pública.
Nuevas características y mejoras
- Característica y mejoras de Delta Lake
- Características y mejoras del cargador automático
- Actualizaciones de los conectores
- Correcciones de errores
Característica y mejoras de Delta Lake
- Fuente de distribución de datos de cambio de tabla delta (GA)
- Carga de tablas delta compartidas fácilmente con Databricks Runtime
- Más tablas se benefician de la eliminación dinámica de archivos
- Mejor rendimiento con ajuste automático del tamaño del archivo de destino
-
Más formas de especificar tablas en
DeltaTable.forName -
Escrituras sólidas de múltiples tablas de transmisión mediante
foreachBatch - Rendimiento mejorado de las consultas de lectura en determinadas cargas de trabajo debido al ajuste de los puntos de control
-
Creación de
GroupStatepara probar funciones de Structured Streaming definidas por el usuario
Flujo de datos de cambios en la tabla Delta (GA)
La fuente de distribución de datos de cambios de la tabla Delta ahora está disponible con carácter general. Representa los cambios de nivel de fila entre diferentes versiones de la tabla. Cuando está habilitada, se registra información adicional sobre los cambios de nivel de fila para cada operación de escritura de la tabla. Vea Uso de la fuente de distribución de datos de cambios de Delta Lake en Azure Databricks.
Carga de tablas delta compartidas fácilmente con Databricks Runtime
El conector de Apache Spark para Delta Sharing 0.1.0 está ahora en Databricks Runtime. Puede cargar una tabla compartida mediante spark.read.format("deltaSharing").load(uri) directamente sin adjuntar el conector delta Sharing Spark al clúster.
Más tablas se benefician de la eliminación dinámica de archivos
La característica de eliminación dinámica de archivos se ha optimizado para desencadenarse en tablas con menos archivos. Consulte Eliminación dinámica de archivos.
Mejor rendimiento con ajuste automático del tamaño del archivo de destino
El tamaño del archivo de destino para las tablas Delta ahora se ajusta automáticamente en función del tamaño de la tabla. Anteriormente, el tamaño del archivo de destino para OPTIMIZE y OPTIMIZE ZORDER BY era de 1 GB. Con el ajuste automático basado en el tamaño de tabla, las tablas Delta de hasta 2,56 TB usarán 256 MB como tamaño de destino. Las tablas de más de 10 TB usarán 1 GB como antes. Las tablas entre estos tamaños usarán tamaños de destino que crecen proporcionalmente con el tamaño de la tabla.
Consulte Configuración de Delta Lake para controlar el tamaño del archivo de datos.
Más formas de especificar tablas en DeltaTable.forName
DeltaTable.forName ahora admite el uso delta.`<path>` de para identificar tablas.
Escritura robusta en múltiples tablas mediante foreachBatch
Ahora se admiten las escrituras idempotentes de streaming de Delta en el comando foreachBatch(). Para obtener más información, consulte Escrituras de varias tablas Idempotentes.
Rendimiento mejorado de las consultas de lectura en determinadas cargas de trabajo debido al ajuste de los puntos de control
Delta Lake ahora ajusta la frecuencia con la que realiza puntos de control mejorados. En lugar de realizar puntos de control en un intervalo fijo, Delta ahora ajusta dinámicamente la frecuencia de los puntos de control en función de determinados desencadenadores de eventos. Esto mejora el rendimiento de las consultas de lectura en las cargas de trabajo en las que no se pudo aplicar alguna optimización de omisión de datos antes. Para usar estas optimizaciones, actualice los trabajos que escriban en Delta Lake a Databricks Runtime 8.4.
Creación de GroupState para probar funciones de Structured Streaming definidas por el usuario
Hasta ahora, solo el motor de Structured Streaming podía crear instancias de GroupState. Por lo tanto, las pruebas unitarias de la función definida por el usuario requerían ejecutar una consulta de streaming en Apache Spark.
Ahora puede crear instancias de GroupState mediante TestGroupState.create(…). Esto permite probar una función definida por el usuario en pruebas unitarias simples que no requieren la ejecución de Spark. Consulte Probar la mapGroupsWithState función de actualización. En concreto, genera instancias de tipo TestGroupState que extienden la interfaz GroupState con métodos adicionales para inspeccionar el estado interno después de aplicar la función definida por el usuario.
Características y mejoras del cargador automático
- Configuración de la reposición para capturar archivos perdidos
- Superficie de almacenamiento enlazada para transmisiones de gran volumen
- Configuración simplificada con compatibilidad sin rutas de acceso
Configuración de la reposición para capturar archivos perdidos
El cargador automático ahora admite la realización de reposiciones de forma asincrónica para capturar los archivos que se podrían haber perdido con las notificaciones de archivo. Los sistemas de almacenamiento de archivos y los sistemas de notificaciones no pueden garantizar la entrega al 100 % de todos los eventos de archivo. Por lo tanto, Databricks recomienda habilitar reposiciones periódicas para capturar todos los datos con el cargador automático. Use la opción cloudFiles.backfillInterval para programar reposiciones periódicas en los datos. Consulte Opciones comunes del cargador automático.
Superficie de almacenamiento enlazada para transmisiones de gran volumen
Ahora puede configurar Auto Loader para que expire y quite las entradas de RocksDB y limitar su espacio de almacenamiento en la ubicación del punto de control. Databricks no recomienda el uso a menos que ingiera datos en el orden de millones de archivos por hora. Establecer esta opción incorrectamente o intentar ajustarla puede provocar muchos problemas de calidad de datos, como que los archivos sin procesar se ignoren o que se dupliquen algunos archivos en lugar de procesarse exactamente una vez. Para obtener más información, consulte Seguimiento de eventos de archivo.
Configuración simplificada con compatibilidad sin rutas de acceso
Cubos de S3
Ahora puede proporcionar la cola de SQS que recibe eventos de varias rutas de acceso o cubos de S3.
Si proporciona la dirección URL de la cola de SQS, la opción path no es necesaria para este caso de uso.
El cargador automático construye rutas de acceso de S3 mediante el cubo y la clave de los eventos de S3. Si quiere leer los archivos a través de puntos de montaje de DBFS, puede usar cloudFiles.pathRewrites para cambiar los prefijos de las rutas de acceso a DBFS. Esto no es necesario a no ser que esté accediendo a datos de diferentes cuentas con AssumeRole.
Consulte Opciones de notificación de archivos.
Contenedores de Azure Data Lake Storage
Ahora puede proporcionar la cola de Azure que recibe eventos de varios contenedores.
Si proporciona el nombre de la cola de Azure, la opción path no es necesaria.
De forma predeterminada, Auto Loader construye rutas de acceso de Azure Data Lake Storage mediante el contenedor y la clave de los eventos de archivo.
Si quiere usar rutas de acceso de WASB o puntos de montaje de DBFS, puede usar cloudFiles.pathRewrites para cambiar los prefijos de las rutas de acceso.
Consulte Opciones de notificación de archivos.
Actualizaciones de los conectores
- El conector de Snowflake para Spark se ha actualizado a la versión 2.9.0.
- El cifrado de KMS se admite ahora en la instrucción
UNLOADdel conector de Redshift.
Corrección de errores
- Se ha corregido un problema para los clústeres habilitados con el control de acceso a tablas, donde
select * from folderpuede mostrar el contenido de la carpeta incluso si el usuario no tiene permiso de acceso a archivos. - Los propietarios de bases de datos que no son administradores ahora pueden quitar tablas que no son de propiedad en las bases de datos. Esto corrige el problema por el que los propietarios de la base de datos no podían quitar una base de datos si existían tablas que no son de propiedad en la base de datos.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- certifi se actualizó de 2020.12.5 a 2021.5.30
- distill se actualizó de 0.3.1 a 0.3.2
- koalas se actualizó de 1.8.0 a 1.8.1
- protobuf se actualizó de 3.17.0 a 3.17.3
- Bibliotecas de R actualizadas:
- base de 4.0.4 a 4.1.0
- boot de 1.3-27 a 1.3-28
- class de 7.3-18 a 7.3-19
- cluster de 2.1.1 a 2.1.2
- compiler de 4.0.4 a 4.1.0
- datasets de 4.0.4 a 4.1.0
- graphics de 4.0.4 a 4.1.0
- grDevices de 4.0.4 a 4.1.0
- grid de 4.0.4 a 4.1.0
- KernSmooth de 2.23-18 a 2.23-20
- lattice de 0.20-41 a 0.20-44
- MASS de 7.3-53.1 a 7.3-54
- Matrix de 1.3-2 a 1.3-3
- methods de 4.0.4 a 4.1.0
- mgcv de 1.8-33 a 1.8-35
- nnet de 7.3-15 a 7.3-16
- parallel de 4.0.4 a 4.1.0
- Rserve de 1.8-7 a 1.8-8
- SparkR de 3.1.1 a 3.1.2
- splines de 4.0.4 a 4.1.0
- stats de 4.0.4 a 4.1.0
- stats4 de 4.0.4 a 4.1.0
- survival de 3.2-7 a 3.2-11
- tcltk de 4.0.4 a 4.1.0
- tools de 4.0.4 a 4.1.0
- utils de 4.0.4 a 4.1.0
- Bibliotecas de Java actualizadas:
- snowflake-jdbc de 3.12.8 a 3.13.3
- spark-snowflake_2.12 de 2.8.1-spark_3.0 a 2.9.0-spark_3.1
- RoaringBitmap de 0.9.0 a 0.9.14
- shims de 0.9.0 a 0.9.14
- rocksdbjni de 6.2.2 a 6.20.3
Apache Spark
Databricks Runtime 8.4 incluye Apache Spark 3.1.2. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 8.3 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:
-
[SPARK-35792] [SQL] La vista no debe capturar las configuraciones usadas en
RelationConversions. - [SPARK-35700] [SQL] Leer una tabla orc de char/varchar que fue creada y escrita por sistemas externos
- [SPARK-35636] [SQL] No se debe hacer referencia a las claves lambda fuera de la función lambda.
- [SPARK-35800] [Cherry Pick] Mejora de la capacidad de prueba de GroupState mediante la introducción de TestGroupState.
- [SPARK-35391] Corrección de la fuga de memoria en ExecutorAllocationListener.
- [SPARK-35799] [CherryPick] Corrección de la métrica allUpdatesTimeMs que mide en FlatMapGroupsWithStateExec.
- [SPARK-35763] [SS] Quitar la dependencia de enumeración de la subclase StateStoreCustomMetric
- [SPARK-35791 [SQL] Liberar adecuadamente el mapa en curso para la unión anti que tenga en cuenta NULL
- [SPARK-35695] [SQL] Recopilación de métricas observadas de subárboles de ejecución adaptables y almacenados en caché.
- [SPARK-35767] [SQL] Se evita ejecutar el plan secundario dos veces en CoalesceExec.
- [SPARK-35746] [UI] Corrección de taskid en la escala de tiempo del evento de tarea de la página de fase.
- [SPARK-35673] [SQL] Corrección de la sugerencia definida por el usuario y la sugerencia no reconocida en la subconsulta.
- [SPARK-35714] [CORE] Corrección de errores de interbloqueo durante el apagado del ejecutor.
- [SPARK-35689] [SS] Adición de una advertencia de registros cuando keyWithIndexToValue devuelve un valor NULL.
- [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint no debe omitir el archivo aleatorio de solo índice durante la actualización.
- [SPARK-35643] [PYTHON] Corrección de referencia ambigua en functions.py column()
- [SPARK-35652] [SQL] joinWith en dos tablas generadas a partir de una sola tabla
- [SPARK-35679] [SQL] Desbordamiento de instantToMicros.
- [SPARK-35602] [ SS] Actualizar esquema de estado para poder aceptar JSON de longitud larga
- [SPARK-35653] [SQL] Solucionar el fallo en la ruta de acceso interpretada de CatalystToExternalMap para Map con clases de caso como claves o valores.
- [SPARK-35296] [SQL] Se permite que Dataset.observe funcione incluso si CollectMetricsExec en una tarea controla varias particiones.
- [SPARK-35659] [SS] Se evita escribir NULL en StateStore.
- [SPARK-35665] [SQL] Resolución de UnresolvedAlias en CollectMetrics.
- [SPARK-35558] Optimización de la recuperación de varios cuantiles.
- [SPARK-35621] [SQL] Adición de la eliminación del identificador de regla a la regla TypeCoercion.
- [SPARK-35077] [SQL] Migración a transformWithPruning para las reglas del optimizador sobrantes.
- [SPARK-35610] [CORE] Corrección de la fuga de memoria introducida por el enlace de detención de apagado del ejecutor
- [SPARK-35544] [SQL] Adición de la eliminación de patrones de árbol a las reglas del analizador.
- [SPARK-35566] [SS] Corrección de las filas de salida de StateStoreRestoreExec.
- [SPARK-35454] [SQL] [3.1] Un objeto LogicalPlan puede coincidir con varios identificadores de conjunto de datos.
- [SPARK-35538] [SQL] Migración de los sitios de llamada transformAllExpressions para usar transformAllExpressionsWithPruning.
- [SPARK-35106] [Core][sql] Evitar un fallo de cambio de nombre debido a que el directorio de destino no existe
- [SPARK-35287] [SQL] Se permite que RemoveRedundantProjects conserve ProjectExec, que genera UnsafeRow para DataSourceV2ScanRelation.
- [SPARK-35495] [R] Cambio del mantenedor de SparkR para CRAN.
- [SPARK-27991] [CORE] Se aplaza la solicitud de captura en Netty OOM.
- [SPARK-35171] [R] Se declara el paquete de Markdown como una dependencia del paquete de SparkR.
- [SPARK-35454] [SQL] Un objeto LogicalPlan puede coincidir con varios identificadores de conjunto de datos.
- [SPARK-35298] [SQL] Migración a transformWithPruning para las reglas de Optimizer.scala.
- [SPARK-35480] [SQL] Hacer que percentile_approx funcione con pivote
- [SPARK-35093] [SQL] AQE ahora usa el plan newQueryStage como clave para buscar intercambios almacenados en caché a fin de volver a usarlos.
- [SPARK-35146] [SQL] Migración a transformWithPruning o resolveWithPruning para reglas de finishAnalysis.scala.
- [SPARK-35411] [SQL] Adición de información esencial al serializar TreeNode a JSON.
- [SPARK-35294] [SQL] Adición de la eliminación de recorrido de árbol en reglas con archivos dedicados en el optimizador.
- [SPARK-34897] [SQL][3.1] Soporte para reconciliar esquemas basados en el índice después de la poda de columnas anidadas
- [SPARK-35144] [SQL] Migración a transformWithPruning para reglas de objetos.
- [SPARK-35155] [SQL] Adición de la eliminación de identificadores de reglas a las reglas del analizador.
- [SPARK-35382] [PYTHON] Corrección de problemas de nombres de variables lambda en funciones de DataFrame anidadas en las API de Python.
- [SPARK-35359] [SQL] Se producirá un error al insertar datos con el tipo de datos char/varchar cuando la longitud de los datos supere la limitación de longitud.
- [SPARK-35381] [R] Corrección de problemas de nombres de variables lambda en funciones anidadas de orden superior en las API de R.
Entorno del sistema
- Sistema operativo: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| directorios de aplicaciones | 1.4.4 | asn1crypto | 1.4.0 | llamada de retorno | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| criptografía | 3.1.1 | ciclista | 0.10.0 | Cython | 0.29.21 |
| decorador | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| puntos de entrada | 0,3 | visión general de las facetas | 1.0.0 | bloqueo de archivos | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | Cliente Jupyter | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | Koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
| chivo expiatorio | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pepita | 20.2.4 | trazado | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pigmentos | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| Python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| Solicitudes | 2.24.0 | Reintentando | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | biblioteca de visualización de datos de Python llamada seaborn | 0.10.0 |
| setuptools | 50.3.1 | six (seis) | 1.15.0 | statsmodels (paquete de Python para análisis estadístico) | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| rueda | 0.35.1 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 02-11-2020.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| askpass | 1.1 | asegúrate de que | 0.2.1 | retroportaciones | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| poco | 4.0.4 | bit 64 | 4.0.5 | mancha | 1.2.1 |
| bota | 1.3-28 | fermentar | 1.0-6 | Brio | 1.1.0 |
| escoba | 0.7.2 | callr | 3.5.1 | cursor | 6.0-86 |
| cellranger (herramienta de análisis de datos celulares) | 1.1.0 | Chron | 2.3-56 | clase | 7.3-19 |
| Cli | 2.2.0 | clipr | 0.7.1 | conglomerado | 2.1.2 |
| codetools | 0.2-18 | espacio de colores | 2.0-0 | commonmark | 1.7 |
| compilador | 4.1.0 | configuración | 0,3 | cubierta | 3.5.1 |
| cpp11 | 0.2.4 | crayón | 1.3.4 | credenciales | 1.3.0 |
| diafonía | 1.1.0.1 | rizo | 4.3 | tabla de datos | 1.13.4 |
| conjuntos de datos | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Descripción | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digerir | 0.6.27 | dplyr | 1.0.2 | DIRECTOR TÉCNICO | 0,16 |
| elipsis | 0.3.1 | evaluar | 0.14 | fans | 0.4.1 |
| colores | 2.0.3 | mapa rápido | 1.0.1 | convictos | 0.5.0 |
| foreach | 1.5.1 | extranjero | 0.8-81 | fragua | 0.2.0 |
| Fs | 1.5.0 | futuro | 1.21.0 | genéricos | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globales | 0.14.0 |
| pegamento | 1.4.2 | Gower | 0.2.2 | elementos gráficos | 4.1.0 |
| grDevices | 4.1.0 | rejilla | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | refugio | 2.3.1 |
| más alto | 0.8 | HMS | 0.5.3 | herramientas de HTML | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Iteradores | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | tejido | 1,30 |
| etiquetado | 0.4.2 | más tarde | 1.1.0.1 | retícula | 0.20-44 |
| lava | 1.6.8.1 | evaluación diferida | 0.2.2 | ciclo de vida | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Formato Markdown | 1.1 | MASA | 7.3-54 | Matriz | 1.3-3 |
| memorizar | 1.1.0 | métodos | 4.1.0 | mgcv | 1.8-35 |
| mimo | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl (software de cifrado) | 1.4.3 | paralelo | 4.1.0 |
| Paralelamente | 1.22.0 | pilar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | elogio | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| progreso | 1.2.2 | promesas | 1.1.1 | prototipo | 1.0.0 |
| P.D | 1.5.0 | ronroneo | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | Bosque Aleatorio (randomForest) | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recetas | 0.1.15 |
| partido de revancha | 1.0.1 | segunda revancha | 2.1.2 | Telecontroles | 2.2.0 |
| ejemplo reproducible | 0.3.0 | reshape2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | balanzas | 1.1.1 |
| selectr | 0.4-2 | información de sesión | 1.1.1 | forma | 1.4.5 |
| brillante | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | espacial | 7.3-11 | Splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | Estadísticas | 4.1.0 |
| estadísticas4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| supervivencia | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| fechaHora | 3043.102 | tinytex | 0,28 | herramientas | 4.1.0 |
| usa esto | 2.0.0 | utf8 | 1.1.4 | utilidades | 4.1.0 |
| Identificador Único Universal (UUID) | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | bigotes | 0,4 | withr | 2.3.0 |
| xfun | 0,19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | cremallera | 2.1.1 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | cliente de Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuración del SDK de Java de AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs (registros del SDK de AWS para Java) | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | SDK de AWS para Java - Soporte | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | compañero de clase | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guayaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | perfilador | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.VERSIÓN |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuración | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | analizadores de univocidad | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compresor de aire | 0,10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | núcleo de métricas | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | métricas y verificaciones de salud | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | métricas-JVM | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | cliente_simple_común | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activación | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transacciones | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolución | javolución | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolita | 4,30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combinado_todo | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc (servicio de comunicación remota) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | plantilla de cadenas | 3.2.1 |
| org.apache.ant | hormiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | lanzador de aplicaciones Ant | 1.9.2 |
| org.apache.arrow | formato de flecha | 2.0.0 |
| org.apache.arrow | núcleo de memoria de flecha | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | vector de flecha | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | marco de trabajo para curadores | 2.7.1 |
| org.apache.curator | curador-recetas | 2.7.1 |
| org.apache.derby | derbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | anotaciones de Hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-cliente | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | Hive-shims | 2.3.7 |
| org.apache.hive | API de almacenamiento de hive | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | planificador-de-adaptadores-hive | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubación |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hiedra | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | calzos de orco | 1.5.12 |
| org.apache.parquet | parquet-columna | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | codificación de parquet | 1.10.1-databricks9 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7 sombreado | 4.15 |
| org.apache.yetus | anotaciones de audiencia | 0.5.0 |
| org.apache.zookeeper | guardián de zoológico | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | compilador común | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | Seguridad de Jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | servidor Jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | Aplicación web de Jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | servlet de contenedor de Jersey | 2,30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,30 |
| org.glassfish.jersey.core | jersey-client | 2,30 |
| org.glassfish.jersey.core | jersey común | 2,30 |
| org.glassfish.jersey.core | jersey-server | 2,30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2,30 |
| org.hibernate.validator | validador de hibernación | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Cuñas | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfaz de prueba | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1,0 |
| org.scalanlp | breeze_2.12 | 1,0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | no utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.LANZAMIENTO |
| org.springframework | Prueba de primavera | 4.1.4.LANZAMIENTO |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | maquinista_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |