Databricks Runtime 8.4 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 8.4 und Databricks Runtime 8.4 Photon, unterstützt von Apache Spark 3.1.2. Databricks hat diese Images im Juli 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Neue Features und Verbesserungen

Delta Lake-Features und -Verbesserungen

Änderungsdatenfeed der Delta-Tabelle (GA)

Der Änderungsdatenfeed der Delta-Tabelle ist jetzt allgemein verfügbar. Er stellt die Änderungen auf Zeilenebene zwischen verschiedenen Versionen der Tabelle dar. Wenn diese Option aktiviert ist, werden zusätzliche Informationen zu Änderungen auf Zeilenebene für jeden Schreibvorgang in der Tabelle aufgezeichnet. Siehe Verwenden des Delta Lake-Änderungs-Datenfeeds in Azure Databricks.

Einfaches Laden freigegebener Delta-Tabellen mit Databricks Runtime

Der Apache Spark Connector für Delta Sharing 0.1.0 befindet sich jetzt in Databricks Runtime. Sie können eine freigegebene Tabelle direkt mit spark.read.format("deltaSharing").load(uri) laden, ohne den Delta Sharing Spark-Connector Ihrem Cluster anzufügen.

Weitere Tabellen profitieren von der dynamischen Dateibereinigung

Das Feature der dynamischen Dateibereinigung wurde so optimiert, dass es für Tabellen mit weniger Dateien ausgelöst wird. Siehe Dynamische Dateibereinigung.

Bessere Leistung durch automatische Optimierung der Zieldateigröße

Die Zieldateigröße für Delta-Tabellen wird jetzt basierend auf der Tabellengröße automatisch optimiert. Zuvor betrug die Zieldateigröße für OPTIMIZE und OPTIMIZE ZORDER BY 1 GB. Bei automatischer Optimierung basierend auf der Tabellengröße verwenden Delta-Tabellen bis zu 2,56 TB als Zielgröße 256 MB. Tabellen, die größer als 10 TB sind, verwenden wie zuvor 1 GB. Tabellen zwischen diesen Größen verwenden Zielgrößen, die proportional zur Tabellengröße wachsen. Weitere Informationen finden Sie unter Konfigurieren von Delta Lake zum Steuern der Datendateigröße.

Weitere Möglichkeiten zum Angeben von Tabellen in DeltaTable.forName

DeltaTable.forName unterstützt jetzt die Verwendung von delta.`<path>` zum Identifizieren von Tabellen.

Stabiles Streaming von Schreibvorgängen mit mehreren Tabellen mit foreachBatch

Idempotente Delta-Streaming-Schreibvorgänge innerhalb des foreachBatch()-Befehls werden jetzt unterstützt. Weitere Informationen finden Sie unter Idempotente Schreibvorgänge mit mehreren Tabellen.

Verbesserte Leseabfrageleistung in bestimmten Workloads aufgrund optimierter Prüfpunkte

Delta Lake optimiert jetzt die Häufigkeit der Verwendung erweiterter Prüfpunkte. Anstatt Prüfpunkte in einem festen Intervall zu setzen, passt Delta jetzt die Prüfpunkthäufigkeit auf bestimmten Ereignistriggern basierend dynamisch an. Dies verbessert die Leistung von Leseabfragen in Workloads, bei denen zuvor einige Daten überspringende Optimierungen nicht angewendet werden konnten. Um diese Optimierungen zu verwenden, aktualisieren Sie Ihre in Delta Lake schreibenden Aufträge auf Databricks Runtime 8.4. Weitere Informationen finden Sie unter Aktivieren erweiterter Prüfpunkte für Abfragen mit strukturiertem Streaming.

Erstellen von GroupState zum Testen benutzerdefinierter strukturierter Streamingfunktionen

Bisher konnte nur die Structured Streaming-Engine Instanzen von GroupStateerstellen. Daher mussten alle Komponententests der benutzerdefinierten Funktion eine Streamingabfrage in Apache Spark ausführen.

Jetzt können Sie Instanzen von GroupState mithilfe von TestGroupState.create(…) erstellen. So können Sie eine benutzerdefinierte Funktion in einfachen Komponententests testen, die keine Ausführung von Spark erfordern. Siehe Testen der mapGroupsWithState-Updatefunktion. Insbesondere werden Instanzen vom Typ TestGroupState erstellt, der die Schnittstelle GroupState um zusätzliche Methoden zum Überprüfen des internen Zustands erweitert, nachdem die benutzerdefinierte Funktion angewendet wurde.

Autoloader-Features und -Verbesserungen

Konfigurieren des Abgleichs zum Erfassen ausgelassener Dateien

Autoloader unterstützt jetzt das asynchrone Ausführen von Abgleichen, um alle Dateien zu erfassen, die bei Dateibenachrichtigungen möglicherweise ausgelassen wurden. Dateispeichersysteme und Benachrichtigungssysteme können nicht garantieren, dass alle Dateiereignisse zu 100 % bereitgestellt werden. Daher empfiehlt Databricks, regelmäßige Abgleiche zu aktivieren, um alle Ihre Daten mit Autoloader zu erfassen. Verwenden Sie die cloudFiles.backfillInterval-Option, um regelmäßige Abgleiche für Ihre Daten zu planen. Weitere Informationen finden Sie unter Allgemeine Optionen für den Autoloader.

Begrenzter Speicherbedarf für Datenströme mit großen Volumen

Sie können Autoloader jetzt so konfigurieren, dass er Einträge in RocksDB ablaufen lässt und entfernt, um den Speicherbedarf am Prüfpunktspeicherort zu begrenzen. Databricks empfiehlt, diese Möglichkeit erst zu nutzen, wenn Sie Daten in einer Größenordnung von mehreren Millionen Dateien pro Stunde erfassen. Wenn Sie diese Option falsch festlegen oder versuchen, sie zu optimieren, kann dies zu vielen Datenqualitätsproblemen führen, z. B. dass nicht verarbeitete Dateien ignoriert oder einige Dateien dupliziert werden, anstatt einmal exakt verarbeitet zu werden. Ausführliche Informationen finden Sie unter Aufbewahrung von Ereignissen.

Vereinfachte Konfiguration mit pfadloser Unterstützung

S3-Buckets

Sie können jetzt die SQS-Warteschlange bereitstellen, die Ereignisse aus mehreren Pfaden oder S3-Buckets empfängt. Wenn Sie die SQS-Warteschlangen-URL angeben, ist die path-Option für diesen Anwendungsfall nicht erforderlich. Autoloader erstellt S3-Pfade unter Verwendung des Buckets und Schlüssels aus den S3-Ereignissen. Wenn Sie die Dateien über DBFS-Bereitstellungspunkte lesen möchten, können Sie cloudFiles.pathRewrites verwenden, um Pfadpräfixe in DBFS zu ändern. Dies ist nur erforderlich, wenn Sie mit AssumeRole auf Daten in verschiedenen Konten zugreifen.

Siehe Dateibenachrichtigungsoptionen.

Azure Data Lake Storage Gen2-Container

Sie können jetzt die Azure-Warteschlange bereitstellen, die Ereignisse von mehreren Containern empfängt. Wenn Sie den Namen der Azure-Warteschlange angeben, ist die path-Option nicht erforderlich. Standardmäßig erstellt Autoloader Azure Data Lake Storage Gen2-Pfade mithilfe des Containers und Schlüssels in den Dateiereignissen. Wenn Sie WASB-Pfade oder DBFS-Bereitstellungspunkte verwenden möchten, können Sie cloudFiles.pathRewrites verwenden, um Pfadpräfixe zu ändern.

Siehe Dateibenachrichtigungsoptionen.

Connectorupgrades

  • Der Snowflake Spark-Connector wurde auf v2.9.0 aktualisiert.
  • KMS-Verschlüsselung wird jetzt in der UNLOAD-Anweisung des Redshift-Connectors unterstützt.

Fehlerbehebungen

  • Es wurde ein Problem bei mit der Tabellenzugriffssteuerung aktivierten Clustern behoben, wobei select * from folder auch dann Ordnerinhalte anzeigen kann, wenn der Benutzer nicht über Dateizugriffsberechtigungen verfügt.
  • Datenbankbesitzer, die keine Administratoren sind, können jetzt in Datenbanken Tabellen löschen, die sie nicht besitzen. So wird das Problem behoben, dass Datenbankbesitzer eine Datenbank nicht löschen konnten, wenn die Datenbank Tabellen enthielt, die sie nicht besaßen.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • certifi wurde von 2020.12.5 auf 2021.5.30 aktualisiert
    • distill wurde von 0.3.1 auf 0.3.2 aktualisiert
    • koalas wurde von 1.8.0 auf 1.8.1 aktualisiert
    • protobuf wurde von 3.17.0 auf 3.17.3 aktualisiert
  • Aktualisierte R-Bibliotheken:
    • base von 4.0.4 auf 4.1.0
    • boot von 1.3-27 auf 1.3-28
    • class von 7.3-18 auf 7.3-19
    • cluster von 2.1.1 auf 2.1.2
    • compiler von 4.0.4 auf 4.1.0
    • datasets von 4.0.4 auf 4.1.0
    • graphics von 4.0.4 auf 4.1.0
    • grDevices von 4.0.4 auf 4.1.0
    • grid von 4.0.4 auf 4.1.0
    • KernSmooth von 2.23-18 auf 2.23-20
    • lattice von 0.20-41 auf 0.20-44
    • MASS von 7.3-53.1 auf 7.3-54
    • Matrix von 1.3-2 auf 1.3-3
    • methods von 4.0.4 auf 4.1.0
    • mgcv von 1.8-33 auf 1.8-35
    • nnet von 7.3-15 auf 7.3-16
    • parallel von 4.0.4 auf 4.1.0
    • Rserve von 1.8-7 auf 1.8-8
    • SparkR von 3.1.1 auf 3.1.2
    • splines von 4.0.4 auf 4.1.0
    • stats von 4.0.4 auf 4.1.0
    • stats4 von 4.0.4 auf 4.1.0
    • survival von 3.2-7 auf 3.2-11
    • tcltk von 4.0.4 auf 4.1.0
    • tools von 4.0.4 auf 4.1.0
    • utils von 4.0.4 auf 4.1.0
  • Aktualisierte Java-Bibliotheken:
    • snowflake-jdbc von 3.12.8 auf 3.13.3
    • spark-snowflake_2.12 von 2.8.1-spark_3.0 auf 2.9.0-spark_3.1
    • RoaringBitmap von 0.9.0 auf 0.9.14
    • shims von 0.9.0 auf 0.9.14
    • rocksdbjni von 6.2.2 auf 6.20.3

Apache Spark

Databricks Runtime 8.4 enthält Apache Spark 3.1.2. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 8.3 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:

  • [SPARK-35792] [SQL] Ansicht sollte keine in RelationConversions verwendeten Konfigurationen erfassen
  • [SPARK-35700] [SQL] Lesen von char/varchar-ORC-Tabellen, die von externen Systemen erstellt und geschrieben wurden
  • [SPARK-35636] [SQL] Lambdaschlüssel sollten nicht außerhalb der Lambdafunktion referenziert werden
  • [SPARK-35800] [Cherry Pick] Verbessern der GroupState-Prüfbarkeit durch Einführen von TestGroupState
  • [SPARK-35391] Beheben von Arbeitsspeicherverlusten in ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Korrektur der allUpdatesTimeMs-Metrikmessung in FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Entfernen der StateStoreCustomMetric-Unterklassen-Enumerationsabhängigkeit
  • [SPARK-35791] [SQL] Korrektes Freigeben der laufenden Zuordnung für NULL-fähigen ANTI-Join
  • [SPARK-35695] [SQL] Erfassen beobachteter Metriken von zwischengespeicherten und adaptiven Ausführungsunterstrukturen
  • [SPARK-35767] [SQL] Vermeiden der zweimaligen Ausführung eines untergeordneten Plans in CoalesceExec
  • [SPARK-35746] [UI] Korrektur der taskid in der Phasen-Seiten-Aufgaben-Ereigniszeitachse
  • [SPARK-35673] [SQL] Korrektur des benutzerdefinierten Hinweises und des nicht erkannten Hinweises in der Unterabfrage.
  • [SPARK-35714] [CORE] Fehlerbehebung für Deadlock während des Herunterfahrens des Executors
  • [SPARK-35689] [SS] Hinzufügen einer Protokollwarnung, wenn keyWithIndexToValue einen NULL-Wert zurückgibt
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint sollte bei der Aktualisierung nicht die Nur-Index-Shuffledatei ignorieren
  • [SPARK-35643] [PYTHON] Korrektur der zweideutigen Referenz in functions.py column()
  • [SPARK-35652] [SQL] joinWith auf zwei Tabellen aus derselben Tabelle erzeugt
  • [SPARK-35679] [SQL] instantToMicros-Überlauf
  • [SPARK-35602] [SS] Aktualisieren des Zustandsschemas, um JSON mit langer Länge akzeptieren zu können
  • [SPARK-35653] [SQL] Korrektur des Fehlers bei von CatalystToExternalMap interpretiertem Pfad bei Map mit Fallklassen als Schlüssel oder Werte
  • [SPARK-35296] [SQL] Ermöglichen, dass Dataset.observe auch funktioniert, wenn CollectMetricsExec in einer Aufgabe mehrere Partitionen verarbeitet.
  • [SPARK-35659] [SS] Schreiben von NULL in StateStore vermeiden
  • [SPARK-35665] [SQL] Auflösen von UnresolvedAlias in CollectMetrics
  • [SPARK-35558] Optimiert für den Abruf mehrerer Quantile
  • [SPARK-35621] [SQL] Hinzufügen der Regel-ID-Bereinigung zur TypeCoercion-Regel
  • [SPARK-35077] [SQL] Migrieren zu transformWithPruning für übrig gebliebene Optimiererregeln
  • [SPARK-35610] [CORE] Behebung des Speicherlecks, das durch den Stopp-Shutdown-Hook des Executors entsteht
  • [SPARK-35544] [SQL] Hinzufügen der Strukturmusterbereinigung zu Analysetoolregeln
  • [SPARK-35566] [SS] Korrektur von StateStoreRestoreExec-Ausgabezeilen
  • [SPARK-35454] [SQL][3.1] Ein LogicalPlan kann mit mehreren Dataset-IDs übereinstimmen
  • [SPARK-35538] [SQL] Migrieren von transformationAllExpressions-Aufrufsites zur Verwendung von transformAllExpressionsWithPruning
  • [SPARK-35106] [Core][SQL] Vermeiden von Fehlern beim Umbenennen, weil das Zielverzeichnis nicht vorhanden ist
  • [SPARK-35287] [SQL] Zulassen, dass RemoveRedundantProjects ProjectExec beibehält, das UnsafeRow für DataSourceV2ScanRelation erzeugt
  • [SPARK-35495] [R] Ändern des SparkR-Maintainers für CRAN
  • [SPARK-27991] [CORE] Verzögerung der Abrufanforderung für Netty OOM
  • [SPARK-35171] [R] Deklarieren des Markdownpakets als Abhängigkeit des SparkR-Pakets
  • [SPARK-35454] [SQL] Ein LogicalPlan kann mit mehreren Dataset-IDs übereinstimmen
  • [SPARK-35298] [SQL] Migrieren zu transformWithPruning für Regeln in Optimizer.scala
  • [SPARK-35480] [SQL] Ermöglichen, dass percentile_approx mit Pivotieren funktioniert
  • [SPARK-35093] [SQL] AQE verwendet jetzt newQueryStage-Plan als Schlüssel zum Suchen nach zwischengespeicherten Austauschvorgängen zur Wiederverwendung
  • [SPARK-35146] [SQL] Migrieren zu transformWithPruning oder resolveWithPruning für Regeln in finishAnalysis.scala
  • [SPARK-35411] [SQL] Hinzufügen wichtiger Informationen beim Serialisieren von TreeNode in JSON
  • [SPARK-35294] [SQL] Hinzufügen der Strukturdurchlaufbereinigung in Regeln mit dedizierten Dateien unter dem Optimierer
  • [SPARK-34897] [SQL][3.1] Unterstützung zum Abstimmen von Schemas basierend auf dem Index nach der Bereinigung geschachtelter Spalten
  • [SPARK-35144] [SQL] Migrieren zu transformWithPruning für Objektregeln
  • [SPARK-35155] [SQL] Hinzufügen der Regel-ID-Bereinigung zu Analysetoolregeln
  • [SPARK-35382] [PYTHON] Behandlung von Problemen mit Lambdavariablennamen in geschachtelten DataFrame-Funktionen in Python-APIs.
  • [SPARK-35359] [SQL] Beim Einfügen von Daten mit dem Datentyp char/varchar tritt ein Fehler auf, wenn die Datenlänge die Längenbegrenzung überschreitet
  • [SPARK-35381] [R] Behandlung von Problemen mit Lambdavariablennamen in geschachtelten Funktionen höherer Ordnung bei R-APIs

Systemumgebung

  • Betriebssystem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
cryptography 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.2 docutils 0.15.2
entrypoints 0,3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 retrying 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 sechs 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 2.11.2020 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 Blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 Anmeldeinformationen 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 Evaluieren 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 Grafiken 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 Lebenszyklus 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrix 1.3-3
memoise 1.1.0 methods 4.1.0 mgcv 1.8-35
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Fortschritt 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52