Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
Esta versión de Databricks Runtime ha alcanzado el final del ciclo de vida y ya no está disponible. Para obtener fechas de fin de vida útil, consulte Historial de fin de vida útil y de fin de soporte. Para más información sobre la directiva de soporte técnico de Databricks Runtime y su programación, consulte Ciclos de vida de soporte técnico de Databricks.
Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 10.2 y Databricks Runtime 10.2 Photon, con tecnología de Apache Spark 3.2.0. Databricks publicó esta versión en diciembre de 2021. Photon se encuentra en versión preliminar pública.
Nuevas características y mejoras
- Uso de archivos en Repos con Spark Streaming
- Utilidades de Databricks agrega un comando de montaje de actualización
- Delta Lake admite el cambio de nombre de las columnas (versión preliminar pública)
- El historial de tablas de Delta Lake agrega la información de versión de Databricks Runtime
- Las funciones de Databricks añaden la información sobre la marca de tiempo de última modificación al enumerar los directorios
-
Spark SQL agrega la función
approx_top_kpara devolver los elementos principales y sus recuentos - Trigger.AvailableNow ahora está disponible en Python y Scala
- Ahora Auto Loader admite la evolución del esquema para Avro (Versión preliminar pública)
Uso de Archivos en Repositorios con Streaming de Spark
Ahora puede acceder a Archivos en Repositorios desde el Spark Streaming.
Utilidades de Databricks agrega un comando de montaje de actualización
El nuevo comando dbutils.fs.updateMount es similar a dbutils.fs.mount, pero este nuevo comando actualiza un punto de montaje existente en lugar de crear uno nuevo. Consulte Comando updateMount (dbutils.fs.updateMount).
Delta Lake admite el cambio de nombre de las columnas (versión preliminar pública)
Delta Lake ahora admite el cambio de nombre de las columnas. Para cambiar el nombre de la columna de una tabla Delta, debe actualizar la versión de la tabla Delta y, a continuación, establecer el modo de asignación de columnas en mapeo por nombres. Consulte Renombrar y eliminar columnas con el mapeo de columnas de Delta Lake.
El historial de tablas de Delta Lake agrega la información de versión de Databricks Runtime
Ahora, cuando se realiza una escritura en una tabla Delta, también se registra información sobre la versión de Databricks Runtime que realizó la escritura. Para obtener la información de versión, ejecute el comando DESCRIBE HISTORY en la tabla y, a continuación, observe la columna engineInfo en la salida. Consulte DESCRIBE HISTORY y trabaje con el historial de tablas.
Cuando se enumeran los directorios, las utilidades de Databricks agregan la información de la hora de modificación más reciente.
El comando dbutils.fs.ls para enumerar el contenido de un directorio ahora genera el campo modificationTime. Este campo contiene la hora de modificación más reciente para cada archivo o directorio enumerado. Consulte Comando ls (dbutils.fs.ls).
Spark SQL agrega la función approx_top_k para devolver los elementos principales y sus recuentos
La nueva función approx_top_k devuelve los valores de elemento que se producen con más frecuencia, junto con sus recuentos aproximados, para la expresión especificada. Estos son algunos ejemplos:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
El resultado de ejecutar cualquiera de los ejemplos es:
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
Consulte la approx_top_k función de agregación.
Trigger.AvailableNow ahora está disponible en Python y Scala
Este cambio admite las consultas Trigger.AvailableNow de streaming de origen Delta en Python y Scala. En Databricks Runtime 10.1 se ha incluido compatibilidad con este desencadenador en Scala. Databricks Runtime 10.2 ahora también admite este desencadenador en Python. Vea la cobertura de Trigger.AvailableNow en ¿Qué es el cargador automático?.
Ahora Auto Loader admite la evolución del esquema para Avro (Versión preliminar pública)
Consulte Configuración de inferencia y evolución de esquemas en Auto Loader.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- filelock de 3.3.1 a 3.4.0
- Actualización de plotly de la versión 5.3.0 a la versión 5.3.1
- Bibliotecas de R actualizadas:
- base de 4.1.1 a 4.1.2
- compilador de 4.1.1 a 4.1.2
- datasets de 4.1.1 a 4.1.2
- gráficos desde 4.1.1 a 4.1.2
- grDevices de 4.1.1 a 4.1.2
- grid de 4.1.1 a 4.1.2
- métodos desde 4.1.1 a 4.1.2
- paralelo de la versión 4.1.1 a la versión 4.1.2
- Rserve de 1.8-8 a 1.8-10
- splines de 4.1.1 a 4.1.2
- Estadísticas de 4.1.1 a 4.1.2
- stats4 de 4.1.1 a 4.1.2
- tcltk de la versión 4.1.1 a la versión 4.1.2
- herramientas de 4.1.1 a 4.1.2
- utils de 4.1.1 a 4.1.2
- Backports de la versión 1.2.1 a la versión 1.4.0
- broom de 0.7.9 a 0.7.10
- cli de 3.0.1 a 3.1.0
- cpp11 de 0.4.0 a 0.4.1
- crayon de 1.4.1 a 1.4.2
- Credentials de 1.3.1 a 1.3.2
- future de 1.22.1 a 1.23.0
- Actualización de gert de la versión 1.4.1 a la 1.4.3
- glmnet de 4.1-2 a 4.1-3
- glue de 1.4.2 a 1.5.0
- Actualización de memoise de la versión 2.0.0 a la 2.0.1
- paralelamente de la versión 1.28.1 a la 1.29.0
- readr de 2.0.2 a 2.1.0
- info de sesión de 1.1.1 a 1.2.1
- stringi de 1.7.5 a 1.7.6
- tibble de 3.1.5 a 3.1.6
- tinytex de 0.34 a 0.35
- tzdb de 0.1.2 a 0.2.0
- Actualización de usethis de la versión 2.1.2 a la versión 2.1.3
- uuid de 0.1-4 a 1.0-3
- vroom de 1.5.5 a 1.5.6
- xfun de 0.27 a 0.28
- Bibliotecas de Java actualizadas:
- com.fasterxml.jackson de 2.12.2 a 2.12.3
- io.airlift.aircompressor de 0.19 a 0.21
- io.netty.netty-all de 4.1.63.Final a 4.1.68.Final
- joda-time.joda-time de 2.10.5 a 2.10.10
- org.apache.commons.commons-compress de 1.20 a 1.21
- org.apache.orc de 1.6.10 a 1.6.12
- org.eclipse.jetty de 9.4.40.v20210413 a 9.4.43.v20210629
- org.scalanlp.breeze-macros_2.12 de 1.0 a 1.2
- org.scalanlp.breeze_2.12 de 1.0 a 1.2
- org.org.typelevel.algebra_2.12 de 2.0.0 a 2.0.1
- org.typelevel.cats-kernel_2.12 de la versión 2.0.0 a la versión 2.0.1
Apache Spark
Databricks Runtime 10.2 incluye Apache Spark 3.2.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 10.1 (EoL), así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:
- [SPARK-37447] [SQL] Cachear el resultado de LogicalPlan.isStreaming() en un val perezoso.
- [SPARK-37468] [SQL] Compatibilidad con intervalos ANSI y TimestampNTZ para UnionEstimation
- [SPARK-37464] [SQL] SCHEMA y DATABASE simplemente deben ser alias de NAMESPACE
- [SPARK-37452] [SQL] Los valores Char y Varchar interrumpen la retrocompatibilidad entre v3.1 y v2.
-
[SPARK-36861] [SQL] Uso de
yyyy-MM-ddcomo patrón de fecha en la detección de particiones - [SPARK-37456] [SQL] CREATE NAMESPACE debería especificar la ubicación para el comando de la versión 2.
- [SPARK-37357] [SQL] Adición de un factor de partición pequeño para volver a equilibrar las particiones
- [SPARK-37446] [SQL] Uso de la reflexión para getWithoutRegisterFns para permitir distintas versiones de Hive para la compilación
- [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION debe manejar de manera coherente la ubicación vacía en los comandos v1 y v2.
- [SPARK-36357] [SQL] Compatibilidad con el filtrado de Timestamp sin zona horaria para orc
- [SPARK-36346] [SQL] Compatibilidad con el tipo TimestampNTZ en la fuente de archivo Orc
- [SPARK-36646] [SQL] Desplazamiento hacia abajo de la agrupación por columna de partición para la agregación.
- [SPARK-34960] [SQL] Optimización de agregado para ORC
- [SPARK-37386] [SQL] Se ha simplificado OptimizeSkewedJoin para no ejecutar el evaluador de costos.
- [SPARK-36073] [SQL] Correcciones y mejoras de EquivalentExpressions
- [SPARK-35352] [SQL] Generación de código para la combinación completa de fusión por ordenación externa
- [SPARK-37292] [SQL] Quita la combinación externa si solo tiene DISTINCT en el lado transmitido con alias.
- [SPARK-37371] [SQL] UnionExec debe admitir el formato columnar si todos los hijos admiten el formato columnar
- [SPARK-36645] [SQL] Incorporación de agregación (min/máx/cuenta) para Parquet
- [SPARK-37379] [SQL] Añadir poda de patrones de árboles a la regla CTESubstitution
-
[SPARK-37332] [SQL] Se permiten intervalos ANSI en
ALTER TABLE .. ADD COLUMNS. - [SPARK-37224] [SS] Optimización de la ruta de acceso de escritura en el proveedor del almacén de estado RocksDB
-
[SPARK-37304] [SQL] Se permiten intervalos ANSI en la versión v2 de
ALTER TABLE .. REPLACE COLUMNS. - [SPARK-36924] [SQL] CAST entre intervalos ANSI e IntegralType
-
[SPARK-37289] [SQL] Eliminación de la función
partitionSchemaOption - [SPARK-37270] [SQL] Solución para integrar foldable en las ramas de CaseWhen si elseValue está vacío
- [SPARK-35345] [SQL] Añadir pruebas de Parquet a BloomFilterBenchmark
- [SPARK-37341] [SQL] Se evita el búfer innecesario y la copia en la combinación de fusión de ordenación externa completa.
- [SPARK-37266] [SQL] El contenido de la vista solo puede consistir en consultas SELECT
- [SPARK-37288] [PYTHON][3.2] Compatibilidad con versiones anteriores desde la actualización de la anotación
- [SPARK-37262] [SQL] No registre el agregado vacío y la agrupación en JDBCScan
- [SPARK-37283] [SQL] No intente almacenar una tabla V1 que contenga intervalos ANSI en formato compatible con Hive
- [SPARK-37221] [SQL] La API collect-like en SparkPlan debe admitir la salida en columnas.
- [SPARK-37202] [SQL] Uso de AnalysisContext para realizar un seguimiento de las funciones temporales a las que se hace referencia
- [SPARK-37023] [CORE] Evite obtener el estado de la combinación cuando shuffleMergeEnabled sea false para una shuffleDependency durante un reintento.
- [SPARK-37307] [CORE] No obtengas conexión JDBC para particiones vacías
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions admite la optimización de nodos que no son el raíz.
- [SPARK-36799] [SQL] Pasar el nombre de queryExecution en la CLI.
- [SPARK-37261] [SQL] Se permite agregar particiones con intervalos ANSI en DSv2.
- [SPARK-37203] [SQL] Corrección de NotSerializableException cuando se observa con TypedImperativeAggregate
- [SPARK-37199] [SQL] Adición de un campo determinista al plan de consulta
-
[SPARK-37253] [PYTHON]
try_simplify_tracebackno debería producir un error cuandotb_frame.f_linenoes None. - [SPARK-37214] [SQL] Error en el análisis de consultas anterior con identificadores no válidos
-
[SPARK-37240] [SQL] Control de intervalos ANSI mediante
ColumnVectorUtils.populate() - [SPARK-35437] [SQL] Uso de expresiones para filtrar particiones de Hive en el lado cliente
- [SPARK-32940] [SQL] Colectar, primero y último deben ser funciones de agregación deterministas.
- [SPARK-37231] [SQL] Escrituras y lecturas dinámicas de particiones de intervalo ANSI
- [SPARK-37038] [SQL] Optimización por muestreo de DSV2
- [SPARK-36665] [SQL] Adición de más simplificaciones del operador Not
- [SPARK-37150] [SQL] Migración de DESCRIBE NAMESPACE para usar el comando de la versión V2 de manera predeterminada
- [SPARK-37196] [SQL] El elemento enforcePrecisionScale de HiveDecimal no pudo devolver null.
- [SPARK-37212] [SQL] Mejorar la implementación de la optimización de agregación.
- [SPARK-37190] [SQL] Mejorar los mensajes de error para el uso de CAST en modo ANSI
- [SPARK-37161] [SQL] RowToColumnConverter tiene compatibilidad con AnsiIntervalType.
- [SPARK-37160] [SQL] Adición de una configuración para deshabilitar opcionalmente el relleno para el tipo char.
- [SPARK-36554] [SQL][python] Exponer la expresión make_date en functions.scala
- [SPARK-37200] [SQL] Soporte para eliminar índices en la fuente de datos V2
- [SPARK-37179] [SQL] Modo ANSI: Adición de una configuración para permitir la conversión entre Datetime y Numeric
- [SPARK-37168] [SQL] Mejora de los mensajes de error para las funciones y los operadores de SQL en modo ANSI
- [SPARK-36935] [SQL] Extensión de ParquetSchemaConverter para calcular la repetición de Parquet y el nivel de definición
- [SPARK-37066] [SQL] Mejora del mensaje de error para mostrar la ruta de acceso del archivo cuando no se pudo leer el siguiente archivo
- [SPARK-32567] [SQL] Adición de code-gen para la combinación hash aleatoria externa completa
- [SPARK-37176] [SQL] Sincronizar la lógica de manejo de excepciones del método infer de JsonInferSchema con el método parse de JacksonParser
- [SPARK-37149] [SQL] Mejora de los mensajes de error para excepciones de desbordamiento aritmético en modo ANSI
- [SPARK-37136] [SQL] Eliminar el código sobre las funciones integradas de Hive que no se implementan en Spark
- [SPARK-16280][SPARK-37082] [SQL] Implementa la función de agregación histogram_numeric, que admite la agregación parcial.
- [SPARK-36975] [SQL] Corregir las métricas de las llamadas del cliente de Hive en HiveClientImpl
Actualizaciones de mantenimiento
Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.2.
Entorno del sistema
- Sistema operativo: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | directorios de aplicaciones | 1.4.4 | argon2-cffi | 20.1.0 |
| generador asíncrono | 1.10 | atributos | 20.3.0 | llamada de retorno | 0.2.0 |
| diccionario bidireccional | 0.21.4 | blanquear | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | ciclista | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorador | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | distro-info | 0.23ubuntu1 | puntos de entrada | 0,3 |
| visión general de las facetas | 1.0.0 | bloqueo de archivos | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | Jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| Cliente Jupyter | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | Koalas | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | Mal sintonizado | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | cuaderno | 6.3.0 | numpy | 1.19.2 |
| empaquetado | 20.9 | Pandas | 1.2.4 | PandocFiltros | 1.4.3 |
| parso | 0.7.0 | chivo expiatorio | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Almohada | 8.2.0 | pepita | 21.0.1 |
| trazado | 5.3.1 | Cliente-Prometeo | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2,20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| Solicitudes | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | biblioteca de visualización de datos de Python llamada seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | seis | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels (paquete de Python para análisis estadístico) | 0.12.2 | tenacidad | 8.0.1 |
| terminado | 0.9.4 | ruta de prueba | 0.4.4 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | actualizaciones desatendidas | 0,1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| codificaciones web | 0.5.1 | rueda | 0.36.2 | widgetsnbextension | 3.5.1 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 30 de noviembre de 2021.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| askpass | 1.1 | asegúrate de que | 0.2.1 | retroportaciones | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | poco | 4.0.4 |
| bit 64 | 4.0.5 | mancha | 1.2.2 | bota | 1.3-28 |
| fermentar | 1.0-6 | Brio | 1.1.2 | escoba | 0.7.10 |
| bslib | 0.3.1 | cachemir | 1.0.6 | callr | 3.7.0 |
| cursor | 6.0-90 | cellranger (herramienta de análisis de datos celulares) | 1.1.0 | Chron | 2.3-56 |
| clase | 7.3-19 | Cli | 3.1.0 | clipr | 0.7.1 |
| conglomerado | 2.1.2 | codetools | 0.2-18 | espacio de colores | 2.0-2 |
| commonmark | 1.7 | compilador | 4.1.2 | configuración | 0.3.1 |
| cpp11 | 0.4.1 | crayón | 1.4.2 | credenciales | 1.3.2 |
| rizo | 4.3.2 | tabla de datos | 1.14.2 | conjuntos de datos | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | Descripción | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | digerir | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| elipsis | 0.3.2 | evaluar | 0.14 | fans | 0.5.0 |
| colores | 2.1.0 | mapa rápido | 1.1.0 | fontawesome | 0.2.2 |
| convictos | 0.5.1 | foreach | 1.5.1 | extranjero | 0.8-81 |
| fragua | 0.2.0 | Fs | 1.5.0 | futuro | 1.23.0 |
| aplicación futura | 1.8.1 | hacer gárgaras | 1.2.0 | genéricos | 0.1.1 |
| Gert | 1.4.3 | ggplot2 | 3.3.5 | Gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | globales | 0.14.0 |
| pegamento | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| Gower | 0.2.2 | gráficos | 4.1.2 | grDevices | 4.1.2 |
| rejilla | 4.1.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | refugio | 2.4.3 | más alto | 0.9 |
| HMS | 1.1.1 | herramientas de HTML | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | Identificadores | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-12 | isoband | 0.2.5 | Iteradores | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| knitr | 1,36 | etiquetado | 0.4.2 | más tarde | 1.3.0 |
| retícula | 0.20-45 | lava | 1.6.10 | ciclo de vida | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| Formato Markdown | 1.1 | MASA | 7.3-54 | Matriz | 1.3-4 |
| memorizar | 2.0.1 | métodos | 4.1.2 | mgcv | 1.8-38 |
| mimo | 0,12 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl (software de cifrado) | 1.4.5 | paralelo | 4.1.2 |
| Paralelamente | 1.29.0 | pilar | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | elogio | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| progreso | 1.2.2 | progressr | 0.9.0 | promesas | 1.2.0.1 |
| prototipo | 1.0.0 | intermediario | 0.4-26 | P.D | 1.6.0 |
| ronroneo | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| Bosque Aleatorio (randomForest) | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| readr | 2.1.0 | readxl | 1.3.1 | recetas | 0.1.17 |
| partido de revancha | 1.0.1 | segunda revancha | 2.1.2 | Telecontroles | 2.4.1 |
| ejemplo reproducible | 2.0.1 | reshape2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2,11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0,13 | rversions | 2.1.1 |
| rvest | 1.0.2 | Sass | 0.4.0 | balanzas | 1.1.1 |
| selectr | 0.4-2 | información de sesión | 1.2.1 | forma | 1.4.6 |
| brillante | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | espacial | 7.3-11 | Splines | 4.1.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | Estadísticas | 4.1.2 |
| estadísticas4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| supervivencia | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testthat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | tidyverse | 1.3.1 |
| fechaHora | 3043.102 | tinytex | 0,35 | herramientas | 4.1.2 |
| tzdb | 0.2.0 | usa esto | 2.1.3 | utf8 | 1.2.2 |
| utilidades | 4.1.2 | Identificador Único Universal (UUID) | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | Vroom | 1.5.6 | Waldo | 0.3.1 |
| bigotes | 0,4 | withr | 2.4.2 | xfun | 0,28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | cremallera | 2.2.0 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | cliente de Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuración del SDK de Java de AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs (registros del SDK de AWS para Java) | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | SDK de AWS para Java - Soporte | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | compañero de clase | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | referencia_nativa - java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.8.6 |
| com.google.crypto.tink | Tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guayaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | perfilador | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuración | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | analizadores de univocidad | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack (software de cálculo numérico) | 1.3.2 |
| dev.ludovic.netlib | Blas | 1.3.2 |
| dev.ludovic.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compresor de aire | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | núcleo de métricas | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | métricas y verificaciones de salud | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | cliente_simple_común | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activación | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transacciones | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolución | javolución | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolita | 4,30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combinado_todo | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc (servicio de comunicación remota) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | plantilla de cadenas | 3.2.1 |
| org.apache.ant | hormiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | lanzador de aplicaciones Ant | 1.9.2 |
| org.apache.arrow | formato de flecha | 2.0.0 |
| org.apache.arrow | núcleo de memoria de flecha | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | vector de flecha | 2.0.0 |
| org.apache.avro | avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curador-cliente | 2.13.0 |
| org.apache.curator | marco de trabajo para curadores | 2.13.0 |
| org.apache.curator | curador-recetas | 2.13.0 |
| org.apache.derby | derbi | 10.14.2.0 |
| org.apache.hadoop | hadoop-cliente-api | 3.3.1-databricks |
| org.apache.hadoop | Entorno de ejecución del cliente de Hadoop | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API de almacenamiento de hive | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | planificador-de-adaptadores-hive | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-incubación |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hiedra | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | calzos de orco | 1.6.12 |
| org.apache.parquet | parquet-columna | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | codificación de parquet | 1.12.0-databricks-0003 |
| org.apache.parquet | estructuras-de-formato-parquet | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-sombreado | 4.20 |
| org.apache.yetus | anotaciones de audiencia | 0.5.0 |
| org.apache.zookeeper | guardián de zoológico | 3.6.2 |
| org.apache.zookeeper | Zookeeper-Jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | compilador común | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-continuation | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | Seguridad de Jetty | 9.4.43.v20210629 |
| org.eclipse.jetty | servidor Jetty | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | Aplicación web de Jetty | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | cliente de websocket | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | servidor de websocket | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | servlet de contenedor de Jersey | 2,34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,34 |
| org.glassfish.jersey.core | jersey-client | 2,34 |
| org.glassfish.jersey.core | jersey-common | 2,34 |
| org.glassfish.jersey.core | jersey-server | 2,34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,34 |
| org.hibernate.validator | validador de hibernación | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Anotaciones | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Cuñas | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfaz de prueba | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | no utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.LANZAMIENTO |
| org.springframework | Prueba de primavera | 4.1.4.LANZAMIENTO |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |