Compartir vía

Databricks Runtime 10.3 (EoL)

Nota:

Esta versión de Databricks Runtime ha alcanzado el final del ciclo de vida y ya no está disponible. Para obtener fechas de fin de vida útil, consulte Historial de fin de vida útil y de fin de soporte. Para más información sobre la directiva de soporte técnico de Databricks Runtime y su programación, consulte Ciclos de vida de soporte técnico de Databricks.

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 10.3 y Databricks Runtime 10.3 Photon, con tecnología de Apache Spark 3.2.1. Photon se encuentra en versión preliminar pública. Databricks publicó esta versión en febrero de 2022.

Nuevas características y mejoras

Los escritores de Parquet y Avro ahora usan la zona horaria de sesión al cambiar la base de las marcas de tiempo de los orígenes de datos de Parquet

Los escritores de Parquet y Avro ahora usan la zona horaria de sesión al realizar la re-base de marcas de tiempo en modo legacy en lugar de usar la zona horaria de la JVM por defecto. La zona horaria de sesión se establece en la zona horaria de JVM de forma predeterminada.

Nuevas funciones de Spark SQL

Las siguientes funciones de Spark SQL ahora se admiten en esta versión:

  • aes_decrypt: descifra la entrada mediante AES.
  • aes_encrypt: cifra la entrada mediante AES.
  • contains: determina si una expresión contiene otra expresión.
  • endswith: determina si una expresión termina con otra expresión.
  • percentile_cont: devuelve un valor de percentil.
  • startswith: determina si una expresión comienza con otra expresión.

La combinación de orden aleatorio bajo ya está disponible con carácter general

El comando Delta MERGE INTO usa una técnica denominada combinación de baja permutación, que reduce la permutación de las filas sin modificar. Esta técnica mejora el rendimiento del comando y ayuda a conservar la agrupación en clústeres existente en la tabla, como la ordenación Z. Esta funcionalidad se introdujo en Databricks Runtime 9.0 en la versión preliminar pública y ahora ha alcanzado la disponibilidad general. Para habilitar la combinación de orden aleatorio bajo, establezca spark.databricks.delta.merge.enableLowShuffle en true. Consulte Combinación de orden aleatorio bajo en Azure Databricks.

Nuevas COPY INTO características: modo de validación y evolución del esquema

Modo de validación: COPY INTO ahora admite un modo VALIDATE en el que los datos que se van a cargar en una tabla se validan pero no se escriben en la tabla. Estas validaciones incluyen lo siguiente:

  • Si se pueden analizar los datos.
  • Si el esquema coincide con el de la tabla o si el esquema debe evolucionar.
  • Si se cumplen todas las restricciones de comprobación y nulabilidad.

Ejemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

El valor predeterminado es validar todos los datos que se van a cargar. Puede proporcionar una serie de filas para que se validen con la palabra clave ROWS, como VALIDATE 15 ROWS. La instrucción COPY INTO devuelve una vista previa de los datos de 50 filas o menos, cuando se usa un número menor que 50 con la palabra clave ROWS.

Evolución del esquema: COPY INTO ahora admite la evolución del esquema con la opción mergeSchema en COPY_OPTIONS. Para evolucionar el esquema de una tabla, debe tener permisos OWN sobre la tabla.

Ejemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Consulte COPY INTO.

Ahora se admiten las columnas de identidad en las tablas Delta (versión preliminar pública)

Delta Lake ahora admite columnas de identidad. Cuando se escribe en una tabla Delta que define una columna de identidad y no se proporcionan valores para esa columna, Delta ahora asigna automáticamente un valor único y estadísticamente creciente o decreciente. Consulte CREATE TABLE [USING].

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • distlib de 0.3.3 a 0.3.4
    • filelock de 3.4.0 a 3.4.2
    • numpy de 1.19.2 a 1.20.1
    • Actualización de plotly de la versión 5.3.1 a la 5.5.0
  • Bibliotecas de R actualizadas:
    • Portaciones de características de la versión 1.4.0 a la versión 1.4.1
    • brio de 1.1.2 a 1.1.3
    • broom de la versión 0.7.10 a la 0.7.11
    • clase del 7.3-19 al 7.3-20
    • cpp11 de 0.4.1 a 0.4.2
    • DBI de 1.1.1 a 1.1.2
    • devtools de 2.4.2 a 2.4.3
    • Digest de la versión 0.6.28 a la versión 0.6.29
    • dtplyr de 1.1.0 a 1.2.0
    • fansi de 0.5.0 a 1.0.2
    • foreign de 0.8-81 a 0.8-82
    • fs de 1.5.0 a 1.5.2
    • gert from 1.4.3 a 1.5.0
    • Glue de la versión 1.5.0 a la 1.6.0
    • httpuv de 1.6.3 a 1.6.5
    • jsonlite de 1.7.2 a 1.7.3
    • knitr de 1.36 a 1.37
    • MASS de 7.3-54 a 7.3-55
    • Matriz de 1.3-4 a 1.4-0
    • nlme de 3.1-152 a 3.1-155
    • nnet desde 7.3-16 hasta 7.3-17
    • openssl de 1.4.5 a 1.4.6
    • en paralelo de la versión 1.29.0 a la 1.30.0
    • Actualización de pkgbuild de la versión 1.2.0 a la versión 1.3.1
    • pkgload de 1.2.3 a 1.2.4
    • progressr de 0.9.0 a 0.10.0
    • Rcpp de 1.0.7 a 1.0.8
    • readr de la versión 2.1.0 a la 2.1.1.
    • remotes de 2.4.1 a 2.4.2
    • RSQLite de 2.2.8 a 2.2.9
    • sessioninfo de 1.2.1 a 1.2.2
    • sparklyr de la versión 1.7.2 a la versión 1.7.4
    • testthat actualización de la versión 3.1.0 a la versión 3.1.1
    • tinytex de 0.35 a 0.36
    • usethis desde la versión 2.1.3 hasta la versión 2.1.5
    • vroom de 1.5.6 a 1.5.7
    • withr de 2.4.2 a 2.4.3
    • xfun de 0.28 a 0.29
    • xml2 de 1.3.2 a 1.3.3
  • Bibliotecas de Java actualizadas:
    • dev.ludovic.netlib.arpack de 1.3.2 a 2.2.1
    • dev.ludovic.netlib.blas de 1.3.2 a 2.2.1
    • dev.ludovic.netlib.lapack de 1.3.2 a 2.2.1
    • io.delta.delta-sharing-spark_2.12 de 0.2.0 a 0.3.0

Apache Spark

Databricks Runtime 10.3 incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 10.2 (EoL), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-37896] [SQL] Implementación de ConstantColumnVector y mejora del rendimiento de los metadatos de archivos ocultos
  • [SPARK-37924] [SQL] Ordenar las propiedades de la tabla por clave en SHOW CREATE TABLE VIEW (v1)
  • [SPARK-37636] [SQL] Migración de CREATE NAMESPACE para usar el comando V2 de forma predeterminada
  • [SPARK-37381] [ SQL] Unificar pruebas v1 y v2 SHOW CREATE TABLE
  • [SPARK-37876] [CORE][sql] Mover SpecificParquetRecordReaderBase.listDirectory a TestUtils
  • [SPARK-37854] [CORE] Reemplazo de la comprobación de tipos con la coincidencia de patrones en el código de Spark
  • [SPARK-36967] [CORE] Informar el tamaño preciso del bloque de redistribución si está sesgado
  • [SPARK-37864] [SQL] Soporte de lectura vectorizada de valores booleanos utilizando codificación RLE con Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator debe omitir rápidamente la comprobación de alineación con la plataforma no alineada
  • [SPARK-37855] [SQL] Excepción IllegalStateException al transformar una matriz dentro de una estructura anidada
  • [SPARK-37858] [SQL] Lanzar SparkRuntimeException con clases de error desde funciones AES
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker no debe intentar obtener el estado de un archivo omitido
  • [SPARK-37860] [UI] Corrección del índice de tarea en la línea de tiempo del evento de tarea en la página de la etapa
  • [SPARK-36879] [SQL] Soporte para la codificación de páginas de datos de Parquet v2 (DELTA_BINARY_PACKED) en la ruta vectorizada
  • [SPARK-37828] [SQL] Aplicar filtros a través de RebalancePartitions
  • [SPARK-37802] [SQL][3.2] El nombre del campo compuesto debe funcionar con la delegación del agregado
  • [SPARK-37826] [SQL] Uso del nombre de códec zstd en los nombres de archivo ORC para hive orc impl
  • [SPARK-37820] [SQL] Reemplazo de ApacheCommonBase64 por JavaBase64 para funciones de cadena
  • [SPARK-37832] [SQL] El convertidor de estructuras ORC debe usar una matriz para buscar convertidores de campos en lugar de una lista vinculada
  • [SPARK-37786] [SQL] Compatibilidad de StreamingQueryListener con SQLConf.get para obtener sqlConf correspondiente de SessionState
  • [SPARK-37527] [SQL] Traducir más funciones de agregado estándar para su aplicación
  • [SPARK-37777] [SQL] Actualización de la sintaxis SQL de SHOW FUNCTIONS
  • [SPARK-8582] [CORE] Realizar el punto de control prontamente cuando se le solicita en un entorno real
  • [SPARK-37822] [SQL] StringSplit debe devolver una matriz en elementos que no son NULL
  • [SPARK-37812] [SQL] Al deserializar una estructura ORC, se reutiliza la fila de resultado cuando es posible
  • [SPARK-37367] [SQL] Volver a habilitar la prueba de excepción en DDLParserSuite.create view - básico.
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals debe omitir rápidamente la comprobación de alineación con la plataforma no alineada
  • [SPARK-37817] [SQL][minor] Quitar código inaccesible en complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Corrección de errores tipográficos en mensajes de HttpAuthenticationException
  • [SPARK-37750] [SQL] Modo ANSI: opcionalmente, se devuelve un resultado NULL si el elemento no existe en la matriz o el mapa.
  • [SPARK-37789] [SQL] Adición de una clase para representar funciones de agregado generales en DS V2
  • [SPARK-37785] [SQL][core] Añadir Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] Supporte la función QueryExecutionListener para usar SQLConf.get y obtener el SQLConf correspondiente de SessionState.
  • [SPARK-37783] [SS][sql][CORE] Habilite la recursividad de cola siempre que sea posible.
  • [SPARK-37726] [SQL] Adición de métricas de tamaño de volcado para sort merge join
  • [SPARK-37800] [SQL] TreeNode.argString aplica un formato incorrecto a argumentos de tipo Set[_]
  • [SPARK-37716] [SQL] Mejora de los mensajes de error cuando LateralJoin tiene expresiones no deterministas
  • [SPARK-37779] [SQL] Hacer que el plan de ColumnarToRowExec sea convertible a una forma estándar tras la (de)serialización
  • [SPARK-37578] [SQL] Actualización de métricas de tareas a partir de métricas personalizadas de ds v2
  • [SPARK-37676] [SQL] Compatibilidad con la función de agregación ANSI: percentile_cont
  • [SPARK-37724] [SQL] Modo ANSI: deshabilitación de palabras clave reservadas ANSI de forma predeterminada
  • [SPARK-37705] [SQL][3.2] Volver a ajustar marcas de tiempo en la zona horaria de sesión guardada en los metadatos de Parquet/Avro
  • [SPARK-34755] [SQL] Compatibilidad con las utilidades para transformar el formato de número
  • [SPARK-36703] [SQL] Eliminar el Ordenar si es el elemento secundario de RepartitionByExpression
  • [SPARK-37369] [SQL] Evitar la transición redundante de ColumnarToRow en InMemoryTableScan
  • [SPARK-37450] [SQL] Eliminación de campos innecesarios de Generate
  • [SPARK-37728] [SQL] La lectura de columnas anidadas con el lector vectorizado de ORC puede provocar la excepción ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Adición de code-gen para sort aggregate sin agrupar las claves
  • [SPARK-37659] [UI][3.2] Corrección de la condición de carrera de FsHistoryProvider entre la información de enumeración y eliminación de registros
  • [SPARK-37727] [SQL] Mostrar las configuraciones omitidas y ocultar advertencias para la configuración ya establecida en SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL]JdbcConnectionProvider indica si se modifica el contexto de seguridad
  • [SPARK-37273] [SQL] Compatibilidad con columnas de metadatos de archivo ocultos en Spark SQL
  • [SPARK-36876] [SQL] Compatibilidad con la eliminación de particiones dinámicas para HiveTableScanExec
  • [SPARK-37546] [SQL] El comando V2 ReplaceTableAsSelect debe calificar la ubicación
  • [SPARK-37545] [SQL] El comando V2 CreateTableAsSelect debe calificar la ubicación
  • [SPARK-37707] [SQL] Permitir la asignación de almacén y la conversión implícita entre tipos datetime
  • [SPARK-37644] [SQL] Compatibilidad con la delegación de agregado completa del origen de datos v2
  • [SPARK-37695] [CORE][shuffle] Omitir diagnósticos de bloques combinados en mezcla basada en empuje
  • [SPARK-35295] [ML] Reemplazo completo de com.github.fommil.netlib por dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] No permitir la eliminación de recursos en la CLI de Spark SQL
  • [SPARK-37330] [SQL] Migración de ReplaceTableStatement al comando v2
  • [SPARK-27974] [SQL] Compatibilidad con la función de agregado ANSI: array_agg
  • [SPARK-36902] [SQL] Migración de CreateTableAsSelectStatement al comando v2
  • [SPARK-37678] [PYTHON] Corregir la firma _cleanup_and_return
  • [SPARK-37613] [SQL] Compatibilidad con la función de agregado ANSI: regr_count
  • [SPARK-37689] [SQL] Se debe admitir la expansión en PropagateEmptyRelation
  • [SPARK-37654] [SQL] Corrección de NPE en Row.getSeq cuando el campo es Null
  • [SPARK-37496] [SQL] Migración de ReplaceTableAsSelectStatement al comando v2
  • [SPARK-37483] [SQL] Compatibilidad con la delegación de sentencias Top-N en el origen de datos JDBC V2
  • [SPARK-37577] [SQL] Corrección de ClassCastException: ArrayType no se puede convertir en StructType para generar la eliminación
  • [SPARK-37310] [SQL] Migración de ALTER NAMESPACE … SET PROPIEDADES para usar el comando V2 de forma predeterminada
  • [SPARK-37501] [ SQL] CREATE/REPLACE TABLE debe calificar la ubicación para el comando v2
  • [SPARK-37343] [SQL] Implementación de createIndex, IndexExists y dropIndex en JDBC (dialecto de Postgres)
  • [SPARK-37060] [CORE][3.2] Administrar la respuesta del estado del controlador de los maestros de copia de seguridad
  • [SPARK-37629] [SQL] Incrementar la velocidad de Expression.canonicalized
  • [SPARK-37633] [SQL] La conversión de desencapsulado debe omitirse si se ha generado un error en la conversión hacia abajo con un...
  • [SPARK-37631] [SQL] Limpieza del código al promover cadenas a tipo doble en funciones matemáticas
  • [SPARK-37569] [SQL] No marcar campos de vista anidados como anulables
  • [SPARK-37557] [SQL] Reemplazar el hash de objeto con un agregado por ordenación si el nodo hijo ya está ordenado
  • [SPARK-36850] [SQL] Migración de CreateTableStatement a la plataforma de comandos v2
  • [SPARK-37592] [SQL] Mejora del rendimiento deJoinSelection
  • [SPARK-37217] [SQL] El número de particiones dinámicas debe comprobarse temprano al momento de escribir en tablas externas.
  • [SPARK-37584] [SQL] Nueva función SQL: map_contains_key
  • [SPARK-37455] [SQL] Reemplazo del valor hash por el agregado de ordenación si el elemento secundario ya está ordenado
  • [SPARK-34735] [SQL][ui] Agregar configuraciones modificadas para la ejecución de SQL en la interfaz de usuario
  • [SPARK-37540] [SQL] Detección de más viajes en el tiempo no admitidos
  • [SPARK-37376] [SQL] Se introduce un nuevo elemento de la interfaz DataSource V2: HasPartitionKey
  • [SPARK-37666] [SQL] Establecimiento de GCMaes_encrypt() como modo predeterminado en /aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader debe retroceder a la versión relacionada, no siempre Hadoop-2.7.4
  • [SPARK-37561] [SQL] Evitar cargar todas las funciones al obtener el DelegationToken de Hive
  • [SPARK-37370] [SQL] Agregar configuraciones de SQL para controlar code-gen de uniones recién agregado en 3.3
  • [SPARK-37311] [SQL] Migración de ALTER NAMESPACE … SET LOCATION para usar el comando V2 de forma predeterminada
  • [SPARK-37192] [SQL] Migrar SHOW TBLPROPERTIES para usar el comando V2 de forma predeterminada
  • [SPARK-37219] [SQL] Adición de compatibilidad con la sintaxis AS OF
  • [SPARK-37316] [SQL] Añadir generación de código para el método de ordenación y unión por existencia
  • [SPARK-37591] [SQL] Compatibilidad con el modo GCM mediante aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Adición de los argumentos modepadding y aes_encrypt() a /aes_decrypt()
  • [SPARK-12567] [SQL] Adición de las funciones integradas aes_encrypt y aes_decrypt
  • [SPARK-37392] [SQL] Corrección del error de rendimiento al inferir restricciones para Generate
  • [SPARK-37481] [Core][webui] Corregir la desaparición de fases omitidas después de reintentar
  • [SPARK-37533] [SQL] Nueva función SQL: try_element_at
  • [SPARK-37451] [SQL] Corrige la conversión de tipo de cadena a tipo decimal si spark.sql.legacy.allowNegativeScaleOfDecimal está habilitado
  • [SPARK-37062] [SS] Introducción de un nuevo origen de datos para proporcionar un conjunto coherente de filas por microlote
  • [SPARK-37552] [SQL] Adición de la función convert_timezone()
  • [SPARK-37555] [SQL] spark-sql debe pasar el último comentario sin cerrar al backend
  • [SPARK-37286] [SQL] Migración de compileAggregates de JDBCRDD a JdbcDialect
  • [SPARK-37485] [CORE][sql] Reemplazar map por expresiones que no producen ningún resultado con foreach
  • [SPARK-37556] [SQL] Error de la clase Desert Void con la serialización de Java
  • [SPARK-37520] [SQL] Adición de las funciones de cadena startswith() y endswith()
  • [SPARK-37471] [SQL] Compatibilidad con spark-sql ; en el comentario entre corchetes anidado
  • [SPARK-37360] [SQL] Compatibilidad con TimestampNTZ en el origen de datos JSON
  • [SPARK-37508] [SQL] Adición de la función de cadena CONTAINS()
  • [SPARK-37494] [SQL] Unificar la salida del comando SHOW CREATE TABLE para las opciones v1 y v2
  • [SPARK-37524] [SQL] Se deben quitar todas las tablas después de probar la eliminación de particiones dinámicas
  • [SPARK-37389] [SQL] Verificar comentarios entre corchetes sin cerrar
  • [SPARK-37220] [SQL] No dividir el archivo de entrada para el lector de Parquet con empujación de agregados
  • [SPARK-37326] [SQL] Compatibilidad con TimestampNTZ en el origen de datos CSV
  • [SPARK-35867] [SQL] Habilitación de la lectura vectorizada para VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE][sql] Reemplazar get y getOrElse por getOrElse
  • [SPARK-37492] [SQL] Optimización del código de prueba de ORC con withAllNativeOrcReaders
  • [SPARK-37458] [SS] Eliminación del elemento SerializeFromObject innecesario del plan de foreachBatch

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.3.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) directorios de aplicaciones 1.4.4 argon2-cffi 20.1.0
generador asíncrono 1.10 atributos 20.3.0 llamada de retorno 0.2.0
diccionario bidireccional 0.21.4 blanquear 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 ciclista 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorador 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 puntos de entrada 0,3
visión general de las facetas 1.0.0 bloqueo de archivos 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
Cliente Jupyter 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 Koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 Mal sintonizado 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 cuaderno 6.3.0 numpy 1.20.1
empaquetado 20.9 Pandas 1.2.4 PandocFiltros 1.4.3
parso 0.7.0 chivo expiatorio 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Almohada 8.2.0 pepita 21.0.1
trazado 5.5.0 Cliente-Prometeo 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
Solicitudes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 biblioteca de visualización de datos de Python llamada seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 seis 1.15.0
ssh-import-id 5.10 statsmodels (paquete de Python para análisis estadístico) 0.12.2 tenacidad 8.0.1
terminado 0.9.4 ruta de prueba 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 actualizaciones desatendidas 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
codificaciones web 0.5.1 rueda 0.36.2 widgetsnbextension 3.5.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN el 19-01-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 asegúrate de que 0.2.1 retroportaciones 1.4.1
base 4.1.2 base64enc 0.1-3 poco 4.0.4
bit 64 4.0.5 mancha 1.2.2 bota 1.3-28
fermentar 1.0-6 Brio 1.1.3 escoba 0.7.11
bslib 0.3.1 cachemir 1.0.6 callr 3.7.0
cursor 6.0-90 cellranger (herramienta de análisis de datos celulares) 1.1.0 Chron 2.3-56
clase 7.3-20 Cli 3.1.0 clipr 0.7.1
conglomerado 2.1.2 codetools 0.2-18 espacio de colores 2.0-2
commonmark 1.7 compilador 4.1.2 configuración 0.3.1
cpp11 0.4.2 crayón 1.4.2 credenciales 1.3.2
rizo 4.3.2 tabla de datos 1.14.2 conjuntos de datos 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Descripción 1.4.0
devtools 2.4.3 diffobj 0.3.5 digerir 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
elipsis 0.3.2 evaluar 0.14 fans 1.0.2
colores 2.1.0 mapa rápido 1.1.0 fontawesome 0.2.2
convictos 0.5.1 foreach 1.5.1 extranjero 0.8-82
fragua 0.2.0 Fs 1.5.2 futuro 1.23.0
aplicación futura 1.8.1 hacer gárgaras 1.2.0 genéricos 0.1.1
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globales 0.14.0
pegamento 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 gráficos 4.1.2 grDevices 4.1.2
rejilla 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 refugio 2.4.3 más alto 0.9
HMS 1.1.1 herramientas de HTML 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Identificadores 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 Iteradores 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1,37 etiquetado 0.4.2 más tarde 1.3.0
retícula 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Formato Markdown 1.1 MASA 7.3-55 Matriz 1.4-0
memorizar 2.0.1 métodos 4.1.2 mgcv 1.8-38
mimo 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl (software de cifrado) 1.4.6 paralelo 4.1.2
Paralelamente 1.30.0 pilar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 elogio 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progreso 1.2.2 progressr 0.10.0 promesas 1.2.0.1
prototipo 1.0.0 intermediario 0.4-26 P.D 1.6.0
ronroneo 0.3.4 r2d3 0.2.5 R6 2.5.1
Bosque Aleatorio (randomForest) 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recetas 0.1.17
partido de revancha 1.0.1 segunda revancha 2.1.2 Telecontroles 2.4.2
ejemplo reproducible 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 Sass 0.4.0 balanzas 1.1.1
selectr 0.4-2 información de sesión 1.2.2 forma 1.4.6
brillante 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 espacial 7.3-11 Splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 Estadísticas 4.1.2
estadísticas4 4.1.2 stringi 1.7.6 stringr 1.4.0
supervivencia 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
fechaHora 3043.102 tinytex 0,36 herramientas 4.1.2
tzdb 0.2.0 usa esto 2.1.5 utf8 1.2.2
utilidades 4.1.2 Identificador Único Universal (UUID) 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.3.1
bigotes 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 cremallera 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws SDK de AWS para Java - Soporte 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib referencia_nativa - java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger perfilador 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics núcleo de métricas 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas y verificaciones de salud 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus cliente_simple_común 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolución javolución 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolita 4,30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lanzador de aplicaciones Ant 1.9.2
org.apache.arrow formato de flecha 2.0.0
org.apache.arrow núcleo de memoria de flecha 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow vector de flecha 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curador-cliente 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curador-recetas 2.13.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop hadoop-cliente-api 3.3.1-databricks
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API de almacenamiento de hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubación
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hiedra 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc calzos de orco 1.6.12
org.apache.parquet parquet-columna 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet codificación de parquet 1.12.0-databricks-0003
org.apache.parquet estructuras-de-formato-parquet 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotaciones de audiencia 0.5.0
org.apache.zookeeper guardián de zoológico 3.6.2
org.apache.zookeeper Zookeeper-Jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty Seguridad de Jetty 9.4.43.v20210629
org.eclipse.jetty servidor Jetty 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty Aplicación web de Jetty 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-API 9.4.43.v20210629
org.eclipse.jetty.websocket cliente de websocket 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket servidor de websocket 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers servlet de contenedor de Jersey 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator validador de hibernación 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Cuñas 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark no utilizado 1.0.0
org.springframework spring-core 4.1.4.LANZAMIENTO
org.springframework Prueba de primavera 4.1.4.LANZAMIENTO
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on