Databricks Runtime 9.1 LTS
Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 9.1 LTS und Databricks Runtime 9.1 LTS Photon, unterstützt von Apache Spark 3.1.2. Databricks hat diese Images im September 2021 veröffentlicht. Photon ist als Public Preview verfügbar.
Hinweis
LTS bedeutet, dass diese Version langfristig unterstützt wird. Siehe Databricks Runtime LTS-Versionslebenszyklus.
Neue Features und Verbesserungen
- Autoloader-Schemahinweise funktionieren jetzt mit Array- und Zuordnungstypen.
- Avro-Dateiunterstützung für Mergeschema
- Unterstützung für inkrementelle Auflistung von Auto Loader (Public Preview)
- Delta unterstützt jetzt beliebiges replaceWhere.
- Auto Loader für Google Cloud unterstützt jetzt Dateibenachrichtigungen (Public Preview).
- CREATE FUNCTION unterstützt jetzt das Erstellen von Tabellenfunktionen.
- Kafka-Streamingquelle meldet jetzt
estimatedTotalBytesBehindLatest-Metrik - Für Strukturen innerhalb von Arrays löst Delta MERGE INTO nun Strukturfelder nach Namen auf und entwickelt Strukturschemas weiter.
Autoloader-Schemahinweise funktionieren jetzt mit Array- und Zuordnungstypen
Array- und Zuordnungstypen werden in Außerkraftsetzung des Schemarückschlusses mit Schemahinweisen für Autoloader unterstützt.
Beispiele für Schemahinweise für Arrays sind folgende:
arr Array<TYPE>ändert den Arraytyp.arr.element TYPEändert den Arraytyp (mithilfe des Schlüsselwortselement).arr.element.x TYPEändert einen geschachtelten Feldtyp in einem Array von Strukturen.
Die ersten beiden Beispiele sind Hinweise zum Ändern des Arraytyps arr in TYPE, verwenden jedoch eine andere Syntax. Im dritten Beispiel ist arr ein Array von Strukturen mit einem x-Feld. In diesem Beispiel wird gezeigt, wie Sie den Typ x in TYPE ändern.
Beispiele für Schemahinweise für Zuordnungen sind:
m Map<KEY-TYPE, VALUE-TYPE>ändert Zuordnungsschlüssel- und Werttypen.m.key TYPEändert den Typ der Zuordnungsschlüssel.m.value TYPEändert den Typ der Zuordnungswerte.m.key.x TYPEändert den Feldtyp in einen Zuordnungsschlüssel.m.value.x TYPEändert den Feldtyp eines Zuordnungswerts.
Im ersten Beispiel werden sowohl die Schlüssel- als auch die Werttypen der Zuordnung m in KEY_TYPE bzw. VALUE_TYPE geändert. Das zweite und dritte Beispiel kann verwendet werden, wenn nur der Schlüsseltyp oder nur der Werttyp geändert werden muss. Im vierten und fünften Beispiel ist m eine Zuordnung mit Schlüssel und Wert von Strukturtypen mit einem Feld x. In diesem Beispiel wird gezeigt, wie Sie den Typ x in TYPE ändern.
Avro-Dateiunterstützung für Mergeschema
Das Avro-Dateiformat unterstützt jetzt die Option mergeSchema beim Lesen von Dateien. Wenn mergeSchema beim Lesen von Avro-Dateien auf TRUE festgelegt wird, wird ein Schema aus mehreren Avro-Dateien und nicht aus einer einzelnen Datei abgeleitet. So wird die Benutzerfreundlichkeit verbessert, indem ein Schema abgeleitet wird, das möglicherweise alle Dateien lesen kann, auch wenn sich die einzelnen Schemas unterscheiden. Weitere Informationen finden Sie unter Konfiguration.
Unterstützung für inkrementelle Auflistung von Auto Loader (Public Preview)
Im Fall von lexikographisch generierten Dateien nutzt Was ist der Autoloader? jetzt die lexikalische Dateireihenfolge und vorhandene optimierte APIs, um die Verzeichnisauflistung effizienter zu gestalten, indem sie aus zuvor aufgenommenen Dateien auflistet, anstatt das gesamte Verzeichnis aufzulisten. Auto Loader erkennt automatisch, ob ein bestimmtes Verzeichnis standardmäßig für die inkrementelle Auflistung geeignet ist. Um dieses Verhalten explizit zu steuern, legen Sie die neue cloudFiles.useIncrementalListing-Option auf „ein“ (true), „aus“ (false) oder „automatisch“ (auto) fest. Wenn Sie dieses Verhalten auf true festlegen, können Sie auch die OptioncloudFiles.backfillInterval zum Planen regelmäßiger Abgleiche Ihrer Daten festlegen, um sicherzustellen, dass alle Ihre Daten vollständig erfasst werden.
Delta unterstützt jetzt beliebiges replaceWhere
In Kombination mit dem Überschreibungsmodus kann die replaceWhere-Option verwendet werden, um gleichzeitig Daten zu überschreiben, die einem in der Option definierten Prädikat entspricht. Bisher wurde von replaceWhere ein Prädikat nur für Partitionsspalten unterstützt, aber jetzt kann es ein beliebiger Ausdruck sein. Weitere Informationen finden Sie unter Schreiben in eine Tabelle.
Auto Loader für Google Cloud unterstützt jetzt Dateibenachrichtigungen (Public Preview).
Auto Loader unterstützt jetzt den Dateibenachrichtigungsmodus in Google Cloud. Legen Sie .option("cloudFiles.useNotifications", "true") fest, damit Auto Loader automatisch Pub/Sub-Ressourcen von Google Cloud für Sie einrichten kann. Im Dateibenachrichtigungsmodus werden neue Dateien beim Eintreffen erkannt und erfasst, ohne das Eingabeverzeichnis aufzulisten. Weitere Informationen finden Sie unterWas ist der Dateibenachrichtigungsmodus von Autoloader?.
CREATE FUNCTION unterstützt jetzt das Erstellen von Tabellenfunktionen
Zusätzlich zum Erstellen einer Skalarfunktion, die einen Skalarwert zurückgibt, können Sie jetzt eine Tabellenfunktion erstellen, die mehrere Zeilen zurückgibt. Weitere Informationen finden Sie unter CREATE FUNCTION (SQL und Python).
Kafka-Streamingquelle meldet jetzt die estimatedTotalBytesBehindLatest-Metrik
Die Kafka-Streamingquelle meldet jetzt eine Schätzung, um wie viele Bytes sich der Consumer nach jedem Batch hinter dem neuesten verfügbaren Byte befindet. Sie können diese Metrik zum Nachverfolgen des Streamfortschritts verwenden. Weitere Informationen finden Sie unter Abrufen von Kafka-Metriken.
Beispiel für eine Metrikausgabe:
StreamingQueryProgress {
"batchId": 0,
.....
"sources": [ {
"description" : "KafkaV2[Subscribe[topic-0]]",
"metrics":{
"avgOffsetsBehindLatest" : "1.0",
"estimatedTotalBytesBehindLatest" : "80.0", // new
"maxOffsetsBehindLatest" : "1",
"minOffsetsBehindLatest" : "1"
} ],
....
}
Für Strukturen innerhalb von Arrays löst Delta MERGE INTO nun Strukturfelder nach Namen auf und entwickelt Strukturschemas weiter
Delta MERGE INTO unterstützt jetzt die Auflösung von Strukturfeldern nach Namen und die automatische Schemaentwicklung für Arrays von Strukturen. Wenn die automatische Schemaentwicklung aktiviert wird, indem spark.databricks.delta.schema.autoMerge.enabled auf TRUE festgelegt wird, lösen die Klauseln UPDATE und INSERT Strukturfelder innerhalb eines Arrays nach Namen auf, wandeln sie in den entsprechenden Datentyp um, der im Zielarray definiert ist, und füllen zusätzliche oder fehlende Felder in der Quelle oder im Ziel mit NULL-Werten auf. Wenn die automatische Schemaentwicklung deaktiviert ist, lösen die Klauseln UPDATE und INSERT Strukturfelder innerhalb eines Arrays nach Namen auf, die zusätzlichen Felder jedoch nicht weiterentwickeln können. Weitere Informationen finden Sie unter Automatische Schemaentwicklung für Strukturarrays.
Fehlerbehebungen
- Es wurde ein Arbeitsspeicherverlust im Amazon S3-Connector behoben, der bei zeitintensiven Aufträgen oder Diensten auftreten kann und durch
DeleteOnExit-Funktionen von JVM verursacht wurde.
Bibliotheksupgrades
- Aktualisierte Python-Bibliotheken:
- Plotly von 4.14.3 auf 5.1.0
- Aktualisierte R-Bibliotheken:
- base von 4.1.0 auf 4.1.1
- bslib von 0.2.5.1 auf 0.3.0
- cachem von 1.0.5 auf 1.0.6
- compiler von 4.1.0 auf 4.1.1
- datasets von 4.1.0 auf 4.1.1
- future von 1.21.0 auf 1.22.1
- gert von 1.3.1 auf 1.3.2
- graphics von 4.1.0 auf 4.1.1
- grDevices von 4.1.0 auf 4.1.1
- grid von 4.1.0 auf 4.1.1
- Aktualisierte Java-Bibliotheken:
- org.eclipse.jetty von 9.4.36.v20210114 auf 9.4.42.v20210604
Apache Spark
Databricks Runtime 9.1 LTS enthält Apache Spark 3.1.2. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 9.0 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:
- [SPARK-36674][SQL][CHERRY-PICK] Unterstützung für ILIKE – LIKE ohne Beachtung von Groß-/Kleinschreibung
- [SPARK-36353][SQL][3.1] RemoveNoopOperators sollte Ausgabeschema beibehalten.
- [SPARK-35876][SQL][3.1] ArraysZip sollte Feldnamen beibehalten, um zu vermeiden, dass sie vom Analysetool bzw. Optimierer erneut geschrieben werden.
- [SPARK-36398][SQL] Bearbeiten vertraulicher Informationen im Spark Thrift Server-Protokoll
- [SPARK-36498][SQL] Neuanordnung innerer Felder der Eingabeabfrage im byName V2-Schreibvorgang
- [SPARK-36614][CORE][UI] Grund für Executor-Verlust durch Außerbetriebsetzung der Benutzeroberfläche
- [SPARK-36012][SQL] Hinzufügen des NULL-Flags in SHOW CREATE TABLE
- [SPARK-36509][CORE] Behebung des Problems, dass Executors nie neu geplant werden, wenn der Worker mit einem eigenständigen Cluster beendet wird
- [SPARK-36603][CORE] Verwenden von WeakReference und nicht SoftReference in LevelDB
- [SPARK-36564][CORE] Behebung von NullPointerException in LiveRDDDistribution.toApi
- [SPARK-36086][SQL][3.1] Alias für die CollapseProject-Projektersetzung sollte ursprünglichen Spaltennamen verwenden.
- [SPARK-33527][SQL] Erweitern der Funktion der Decodierung aus Konsistenzgründen mit den gängigen Datenbanken
- [SPARK-36400][SPARK-36398][SQL][WEBUI] ThriftServer soll spark.sql.redaction.string.regex erkennen.
- [SPARK-34054][CORE] BlockManagerDecommissioner-Codebereinigung
- [SPARK-36500][CORE] Korrektur des temp_shuffle Dateiverlusts, wenn ein Task unterbrochen wird
- [SPARK-36489][SQL] Aggregatfunktionen ohne Gruppierungsschlüssel geben für Tabellen mit einem einzelnen Bucket geben mehrere Zeilen zurück.
- [SPARK-36464][CORE] Behebung zugrunde liegender Größenvariableninitialisierung in ChunkedByteBufferOutputStream für einen Schreibvorgang, der 2 GB übersteigt
- [SPARK-36339][SQL][3.0] Verweise auf die Gruppierung, die nicht Teil der Aggregation sein sollte, müssen entfernt werden.
- [SPARK-36354][CORE] EventLogFileReader sollte rollierende Ereignisprotokollverzeichnisse ohne Protokolle überspringen.
- [SPARK-36242][CORE][3.1] Sicherstellen, dass Überlaufdatei vor Festlegen von Erfolg = TRUE in der ExternalSorter.spillMemoryIteratorToDisk-Methode geschlossen ist
- [SPARK-36211][PYTHON] Richtige Eingabe des Rückgabewerts
udf - [SPARK-34222][SQL] Erweitern der booleschen Vereinfachungsregel
- [SPARK-35027][CORE] Schließen von inputStream in FileAppender, wenn Schreibvorgang...
- [SPARK-36269][SQL] Beheben von ausschließlich festgelegten Datenspalten in der Konfiguration von Hive-Spaltennamen
- [SPARK-36213][SQL] Normalisieren von PartitionSpec für den Befehl „Describe Table“ mit PartitionSpec
- [SPARK-36210][SQL] Beibehalten der Spalteneinfügungsreihenfolge in Dataset.withColumns
- [SPARK-36079][SQL] Schätzung von NULL-basierten Filtern muss im Bereich liegen [0, 1].
- [SPARK-28266][SQL] convertToLogicalRelation darf die Eigenschaft
pathbeim Lesen von Hive-Tabellen nicht interpretieren.
Wartungsupdates
Weitere Informationen finden Sie unter Wartungsupdates zu Databricks Runtime 9.1 LTS.
Systemumgebung
- Betriebssystem: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.10
- R: 4.1.1
- Delta Lake: 1.0.0
Installierte Python-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | certifi | 2020.12.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorator | 5.0.6 | distlib | 0.3.2 |
| distro-info | 0.23ubuntu1 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
| kiwisolver | 1.3.1 | koalas | 1.8.1 | matplotlib | 3.4.2 |
| numpy | 1.19.2 | Pandas | 1.2.4 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 8.2.0 | pip | 21.0.1 | plotly | 5.1.0 |
| prompt-toolkit | 3.0.17 | protobuf | 3.17.2 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | python-apt | 2.0.0+ubuntu0.20.4.5 |
| Python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| setuptools | 52.0.0 | sechs | 1.15.0 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tenacity | 8.0.1 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | unattended-upgrades | 0,1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| wheel | 0.36.2 |
Installierte R-Bibliotheken
R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme am 8.9.2021 installiert.
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.1 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | Blob | 1.2.2 | boot | 1.3-28 |
| brew | 1.0-6 | brio | 1.1.2 | broom | 0.7.9 |
| bslib | 0.3.0 | cachem | 1.0.6 | callr | 3.7.0 |
| caret | 6.0-88 | cellranger | 1.1.0 | chron | 2.3-56 |
| class | 7.3-19 | cli | 3.0.1 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
| commonmark | 1.7 | compiler | 4.1.1 | config | 0.3.1 |
| cpp11 | 0.3.1 | crayon | 1.4.1 | Anmeldeinformationen | 1.3.1 |
| curl | 4.3.2 | data.table | 1.14.0 | datasets | 4.1.1 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | desc | 1.3.0 |
| devtools | 2.4.2 | diffobj | 0.3.4 | digest | 0.6.27 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | ellipsis | 0.3.2 |
| Evaluieren | 0.14 | fansi | 0.5.0 | farver | 2.1.0 |
| fastmap | 1.1.0 | forcats | 0.5.1 | foreach | 1.5.1 |
| foreign | 0.8-81 | forge | 0.2.0 | fs | 1.5.0 |
| future | 1.22.1 | future.apply | 1.8.1 | gargle | 1.2.0 |
| generics | 0.1.0 | gert | 1.3.2 | ggplot2 | 3.3.5 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-2 |
| globals | 0.14.0 | glue | 1.4.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.0 | gower | 0.2.2 | Grafiken | 4.1.1 |
| grDevices | 4.1.1 | grid | 4.1.1 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.4.3 |
| highr | 0.9 | hms | 1.1.0 | htmltools | 0.5.2 |
| htmlwidgets | 1.5.3 | httpuv | 1.6.2 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-11 | isoband | 0.2.5 |
| iterators | 1.0.13 | jquerylib | 0.1.4 | jsonlite | 1.7.2 |
| KernSmooth | 2.23-20 | knitr | 1,33 | labeling | 0.4.2 |
| later | 1.3.0 | lattice | 0.20-44 | lava | 1.6.10 |
| Lebenszyklus | 1.0.0 | listenv | 0.8.0 | lubridate | 1.7.10 |
| magrittr | 2.0.1 | markdown | 1.1 | MASS | 7.3-54 |
| Matrix | 1.3-4 | memoise | 2.0.0 | methods | 4.1.1 |
| mgcv | 1.8-36 | mime | 0,11 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-152 |
| nnet | 7.3-16 | numDeriv | 2016.8-1.1 | openssl | 1.4.5 |
| parallel | 4.1.1 | parallelly | 1.27.0 | pillar | 1.6.2 |
| pkgbuild | 1.2.0 | pkgconfig | 2.0.3 | pkgload | 1.2.1 |
| plogr | 0.2.0 | plyr | 1.8.6 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.5.2 |
| prodlim | 2019.11.13 | Fortschritt | 1.2.2 | progressr | 0.8.0 |
| promises | 1.2.0.1 | proto | 1.0.0 | ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | readr | 2.0.1 |
| readxl | 1.3.1 | recipes | 0.1.16 | rematch | 1.0.1 |
| rematch2 | 2.1.2 | remotes | 2.4.0 | reprex | 2.0.1 |
| reshape2 | 1.4.4 | rlang | 0.4.11 | rmarkdown | 2,10 |
| RODBC | 1.3-18 | roxygen2 | 7.1.1 | rpart | 4.1-15 |
| rprojroot | 2.0.2 | Rserve | 1.8-8 | RSQLite | 2.2.8 |
| rstudioapi | 0,13 | rversions | 2.1.1 | rvest | 1.0.1 |
| sass | 0.4.0 | scales | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | shape | 1.4.6 | shiny | 1.6.0 |
| sourcetools | 0.1.7 | sparklyr | 1.7.1 | SparkR | 3.1.1 |
| spatial | 7.3-11 | splines | 4.1.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.1.1 | stats4 | 4.1.1 |
| stringi | 1.7.4 | stringr | 1.4.0 | survival | 3.2-13 |
| sys | 3.4 | tcltk | 4.1.1 | TeachingDemos | 2,10 |
| testthat | 3.0.4 | tibble | 3.1.4 | tidyr | 1.1.3 |
| tidyselect | 1.1.1 | tidyverse | 1.3.1 | timeDate | 3043.102 |
| tinytex | 0,33 | tools | 4.1.1 | tzdb | 0.1.2 |
| usethis | 2.0.1 | utf8 | 1.2.2 | utils | 4.1.1 |
| uuid | 0.1-4 | vctrs | 0.3.8 | viridisLite | 0.4.0 |
| vroom | 1.5.4 | waldo | 0.3.0 | whisker | 0,4 |
| withr | 2.4.2 | xfun | 0,25 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
| zip | 2.2.0 |
Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacecommerceanalytics | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Datenstrom | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.crypto.tink | tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Sammlung | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-continuation | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-http | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-io | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-jndi | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-plus | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-proxy | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-security | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-server | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-servlet | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-servlets | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-util | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-webapp | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-xml | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.42.v20210604 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,30 |
| org.glassfish.jersey.core | jersey-client | 2,30 |
| org.glassfish.jersey.core | jersey-common | 2,30 |
| org.glassfish.jersey.core | jersey-server | 2,30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2,30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |