Databricks Runtime 9.1 LTS

  • Artículo

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 9.1 LTS y Databricks Runtime 9.1 LTS Photon, con tecnología de Apache Spark 3.1.2. Databricks publicó estas imágenes en septiembre de 2021. Photon se encuentra en versión preliminar pública.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Nuevas características y mejoras

Las sugerencias de esquema de Auto Loader ahora funcionan con tipos de matriz y de mapa

Los tipos de matriz y asignación se admiten en Invalidación de la inferencia de esquema con sugerencias de esquema para Auto Loader.

Algunos ejemplos de sugerencias de esquema para matrices:

  1. arr Array<TYPE> cambia el tipo de matriz.
  2. arr.element TYPE cambia el tipo de matriz (con la palabra clave element).
  3. arr.element.x TYPE cambia un tipo de campo anidado en una matriz de estructuras.

Los dos primeros ejemplos son sugerencias para cambiar el tipo de matriz arr a TYPE, pero utilizan una sintaxis diferente. En el tercer ejemplo, arr es una matriz de estructuras con un campo x. Este ejemplo muestra cómo cambiar el tipo de x a TYPE.

Algunos ejemplos de sugerencias de esquema para mapas:

  1. m Map<KEY-TYPE, VALUE-TYPE> cambia los tipos de clave y valor de mapa.
  2. m.key TYPE cambia el tipo de claves de mapa.
  3. m.value TYPE cambia el tipo de valores de mapa.
  4. m.key.x TYPE cambia el tipo de campo en una clave de mapa.
  5. m.value.x TYPE cambia el tipo de campo de un valor de mapa.

El primer ejemplo cambia los tipos de clave y de valor de mapa m a KEY_TYPE y VALUE_TYPE, respectivamente. Los ejemplos segundo y tercero se pueden usar si solo es necesario cambiar el tipo de clave o el tipo de valor. En los ejemplos cuarto y quinto, m es un mapa con una clave y un valor de tipos de estructura con un campo x. Este ejemplo muestra cómo cambiar el tipo de x a TYPE.

Compatibilidad del formato de archivo Avro con la opción mergeSchema

El formato de archivo Avro ahora admite la opción mergeSchema al leer archivos. Si mergeSchema se establece en true al leer archivos Avro, se inferirá un esquema a partir de un conjunto de archivos Avro en lugar de un único archivo. Esto mejora la facilidad de uso al inferir un esquema que puede leer todos los archivos, incluso si sus esquemas individuales difieren. Vea Configuración.

Listado incremental en Auto Loader (versión preliminar pública)

En el caso de los archivos generados lexicográficamente, ¿Qué es el cargador automático? ahora aprovecha el orden léxico de los archivos y las API optimizadas para mejorar la eficacia del listado de directorios. Para ello, inicia el listado a partir de los archivos ingeridos previamente, en lugar de enumerar todo el directorio. Auto Loader detecta automáticamente si un directorio determinado es adecuado para el listado incremental de forma predeterminada. Para controlar este comportamiento de forma explícita, establezca la nueva opción cloudFiles.useIncrementalListing en true (activo), false (inactivo) o auto (automático). Si establece este comportamiento en true, también puede establecer la opción cloudFiles.backfillInterval para programar el relleno periódico de los datos para asegurarse de que se ingieren completamente todos los datos.

Delta ahora admite replaceWhere arbitrario

La opción replaceWhere se puede usar en combinación con el modo de sobrescritura para sobrescribir simultáneamente los datos que coinciden con un predicado definido en la opción. Antes, replaceWhere solo admitía predicados de columnas de partición, pero ahora puede ser una expresión arbitraria. Vea Escritura en una tabla.

Auto Loader para Google Cloud ahora admite notificaciones de archivos (versión preliminar pública)

Auto Loader ahora admite el modo de notificación de archivos en Google Cloud. Establezca .option("cloudFiles.useNotifications", "true") para permitir que Auto Loader configure automáticamente los recursos de publicación-suscripción de Google Cloud. Con el modo de notificación de archivos, los nuevos archivos se detectan e ingieren a medida que llegan sin enumerar el directorio de entrada. Consulte ¿Qué es el modo de notificación de archivos de Auto Loader?.

CREATE FUNCTION ahora admite la creación de funciones de tabla

Además de crear una función escalar que devuelva un valor escalar, ahora puede crear una función de tabla que devuelva un conjunto de filas. Vea CREAR FUNCIONES (SQL y Python).

El origen de streaming de Kafka ahora notifica la métrica estimatedTotalBytesBehindLatest

El origen de streaming de Kafka ahora notifica una estimación del número de bytes que el consumidor tiene de retraso respecto al último byte disponible después de cada lote. Puede usar esta métrica para hacer un seguimiento del progreso del streaming. Consulta Recuperación de métricas de Kafka.

Salida de ejemplo de la métrica:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

En las estructuras dentro de matrices, el comando MERGE INTO de Delta ahora resuelve los campos de estructura por nombre y desarrolla los esquemas de estructura

El comando MERGE INTO de Delta ahora admite la resolución de campos de una estructura por nombre y el desarrollo automático del esquema para matrices de estructuras. Cuando se habilita el desarrollo automático del esquema estableciendo spark.databricks.delta.schema.autoMerge.enabled en true, las cláusulas UPDATE y INSERT resuelven los campos de una estructura dentro de una matriz por nombre, los convierten al tipo de datos correspondiente, que está definido en la matriz de destino, y rellenan los campos que falten u otros adicionales en el origen o el destino con valores NULL. Cuando el desarrollo automático del esquema está deshabilitado, las cláusulas UPDATE y INSERT resuelven los campos de estructura dentro de una matriz por nombre, pero no pueden desarrollar campos adicionales. Consulte Evolución automática del esquema para matrices de estructuras.

Corrección de errores

  • Se ha corregido una fuga de memoria en el conector de Amazon S3 que podía producirse en trabajos o servicios de larga duración y que se debía a la funcionalidad DeleteOnExit de JVM.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • plotly: de 4.14.3 a 5.1.0
  • Bibliotecas de R actualizadas:
    • base: de 4.1.0 a 4.1.1
    • bslib: de 0.2.5.1 a 0.3.0
    • cachem: de 1.0.5 a 1.0.6
    • compiler: de 4.1.0 a 4.1.1
    • datasets: de 4.1.0 a 4.1.1
    • future: de 1.21.0 a 1.22.1
    • gert: de 1.3.1 a 1.3.2
    • graphics: de 4.1.0 a 4.1.1
    • grDevices: de 4.1.0 a 4.1.1
    • grid: de 4.1.0 a 4.1.1
  • Bibliotecas de Java actualizadas:
    • org.eclipse.jetty: de 9.4.36.v20210114 a 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS incluye Apache Spark 3.1.2. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 9.0 (sin soporte técnico), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:

  • [SPARK-36674][SQL][CHERRY-PICK] Compatibilidad con ILIKE (LIKE sin distinguir mayúsculas de minúsculas)
  • [SPARK-36353][SQL][3.1] RemoveNoopOperators debería mantener el esquema de salida
  • [SPARK-35876][SQL][3.1] ArraysZip debería conservar los nombres de campo para evitar que el analizador o el optimizador lo reescriban
  • [SPARK-36398][SQL] Redactar información confidencial en el registro de Spark Thrift Server
  • [SPARK-36498][SQL] Reordenar los campos internos de la consulta de entrada en la escritura de byName V2
  • [SPARK-36614][CORE][UI] Corregir el motivo de la pérdida de ejecutor causada por la retirada en la interfaz de usuario
  • [SPARK-36012][SQL] Agregar la marca null a SHOW CREATE TABLE
  • [SPARK-36509][CORE] Corregir el problema de que los ejecutores nunca se programen de nuevo si el nodo de trabajo se detiene con un clúster independiente
  • [SPARK-36603][CORE] Usar WeakReference, no SoftReference, en LevelDB
  • [SPARK-36564][CORE] Corregir NullPointerException en LiveRDDDistribution.toApi
  • [SPARK-36086][SQL][3.1] El alias de reemplazo del proyecto CollapseProject debería usar el nombre de la columna de origen
  • [SPARK-33527][SQL] Ampliar la función de descodificación para que sea coherente con las bases de datos estándar
  • [SPARK-36400][SPARK-36398][SQL][WEBUI] Hacer que ThriftServer reconozca spark.sql.redaction.string.regex
  • [SPARK-34054][CORE] Limpieza de código de BlockManagerDecommissioner
  • [SPARK-36500][CORE] Corregir la pérdida de archivos de temp_shuffle cuando se interrumpe una tarea
  • [SPARK-36489][SQL] Las funciones de agregado sin claves de agrupación en tablas con un solo cubo devuelven varias filas
  • [SPARK-36464][CORE] Corregir la inicialización de variable de tamaño subyacente en ChunkedByteBufferOutputStream para escribir datos de más de 2 GB
  • [SPARK-36339][SQL][3.0] Las referencias a una agrupación que no forma parte de la agregación deberían reemplazarse
  • [SPARK-36354][CORE] EventLogFileReader debería omitir los directorios de registros de eventos graduales sin registros
  • [SPARK-36242][CORE][3.1] Asegurar que el archivo de volcado se cierra antes de establecer success = true en el método ExternalSorter.spillMemoryIteratorToDisk
  • [SPARK-36211][PYTHON] Escritura correcta del valor devuelto de udf
  • [SPARK-34222][SQL] Mejorar la regla de simplificación booleana
  • [SPARK-35027][CORE] Cerrar inputStream en FileAppender cuando se produce un error al escribir los registros
  • [SPARK-36269][SQL] Corregir establecer solo columnas de datos en la configuración de nombre de columna de Hive
  • [SPARK-36213][SQL] Normalizar PartitionSpec para el comando DescTable con PartitionSpec
  • [SPARK-36210][SQL] Conservar el orden de inserción de columnas en Dataset.withColumns
  • [SPARK-36079][SQL] La estimación del filtro basado en null debería estar siempre en el intervalo [0, 1]
  • [SPARK-28266][SQL] convertToLogicalRelation no debería interpretar la propiedad path al leer tablas de Hive

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 9.1 LTS.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
Solicitudes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 six (seis) 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 08-09-2021.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.0 cachem 1.0.6 callr 3.7.0
caret 6.0-88 cellranger 1.1.0 chron 2.3-56
clase 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.0 conjuntos de datos 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 ellipsis 0.3.2
evaluate 0.14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
foreign 0.8-81 forge 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 gargle 1.2.0
generics 0.1.0 gert 1.3.2 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 elementos gráficos 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.3 httpuv 1.6.2 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-11 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.33 labeling 0.4.2
later 1.3.0 lattice 0.20-44 lava 1.6.10
ciclo de vida 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
Matriz 1.3-4 memoise 2.0.0 methods 4.1.1
mgcv 1.8-36 mime 0,11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.27.0 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.1
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progreso 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recipes 0.1.16 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2,10
RODBC 1.3-18 roxygen2 7.1.1 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.6.0
sourcetools 0.1.7 sparklyr 1.7.1 SparkR 3.1.1
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2,10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0,33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.4 waldo 0.3.0 whisker 0,4
withr 2.4.2 xfun 0,25 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.42.v20210604
org.eclipse.jetty jetty-continuation 9.4.42.v20210604
org.eclipse.jetty jetty-http 9.4.42.v20210604
org.eclipse.jetty jetty-io 9.4.42.v20210604
org.eclipse.jetty jetty-jndi 9.4.42.v20210604
org.eclipse.jetty jetty-plus 9.4.42.v20210604
org.eclipse.jetty jetty-proxy 9.4.42.v20210604
org.eclipse.jetty jetty-security 9.4.42.v20210604
org.eclipse.jetty jetty-server 9.4.42.v20210604
org.eclipse.jetty jetty-servlet 9.4.42.v20210604
org.eclipse.jetty jetty-servlets 9.4.42.v20210604
org.eclipse.jetty jetty-util 9.4.42.v20210604
org.eclipse.jetty jetty-util-ajax 9.4.42.v20210604
org.eclipse.jetty jetty-webapp 9.4.42.v20210604
org.eclipse.jetty jetty-xml 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-api 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-client 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-common 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-server 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-servlet 9.4.42.v20210604
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52