Databricks Runtime 10.2 (nicht unterstützt)
Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.2 und Databricks Runtime 10.2 Photon, unterstützt von Apache Spark 3.2.0. Databricks hat diese Bilder im Dezember 2021 veröffentlicht. Photon ist als Public Preview verfügbar.
Neue Features und Verbesserungen
- Verwenden von Dateien in Repositorys mit Spark Streaming
- Databricks Utilities fügt einen Befehl zum Aktualisieren der Einbindung hinzu
- Delta Lake unterstützt das Umbenennen von Spalten (Public Preview)
- Der Delta Lake-Tabellenverlauf fügt der Databricks Runtime Versionsinformationen hinzu
- Databricks Utilities fügt Informationen über die letzte Änderungszeit hinzu, wenn Verzeichnisse aufgelistet werden
- Spark SQL fügt eine
approx_top_k-Funktion hinzu, die die obersten Elemente und deren Anzahl zurückgibt - Auslösen von AvailableNow als jetzt verfügbar in Python genauso wie in Scala
- Autoloader unterstützt jetzt die Schemaentwicklung für Avro (Public Preview).
Verwenden von Dateien in Repositorys mit Spark Streaming
Sie können jetzt über Spark Streaming auf Dateien in Repositorys zugreifen.
Databricks Utilities fügt einen Befehl zum Aktualisieren der Einbindung hinzu
Der neue dbutils.fs.updateMount-Befehl ist ähnlich wie dbutils.fs.mount, aber dieser neue Befehl aktualisiert einen bestehenden Bereitstellungspunkt, anstatt einen neuen zu erstellen. Weitere Informationen finden Sie unter updateMount-Befehl (dbutils.fs.updateMount).
Delta Lake unterstützt das Umbenennen von Spalten (Public Preview)
Delta Lake unterstützt jetzt das Umbenennen von Spalten. Um die Spalte einer Delta-Tabelle umzubenennen, müssen Sie für die Version der Delta-Tabelle ein Upgrade durchführen und dann den Spaltenzuordnungsmodus auf „Namenszuordnung“ festlegen. Weitere Informationen finden Sie unter Rename and drop columns with Delta Lake column mapping (Umbenennen und Löschen von Spalten mit Delta Lake-Spaltenzuordnung).
Der Delta Lake-Tabellenverlauf fügt der Databricks Runtime Versionsinformationen hinzu
Wenn jetzt ein Schreibvorgang in eine Delta-Tabelle erfolgt, werden auch Informationen zur Databricks Runtime-Version aufgezeichnet, die den Schreibvorgang durchgeführt hat. Führen Sie zum Abrufen der Versionsinformationen den DESCRIBE HISTORY-Befehl für die Tabelle aus, und sehen Sie sich dann die engineInfo-Spalte in der Ausgabe an. Weitere Informationen finden Sie unter DESCRIBE HISTORY und Verwenden des Delta Lake-Tabellenverlaufs.
Databricks Utilities fügt Informationen über die letzte Änderungszeit hinzu, wenn Verzeichnisse aufgelistet werden
Der dbutils.fs.ls-Befehl zum Auflisten des Inhalts eines Verzeichnisses gibt jetzt ein modificationTime-Feld aus. Dieses Feld enthält die letzte Änderungszeit für jede aufgelistete Datei oder jedes Verzeichnis. Weitere Informationen finden Sie unter ls-Befehl (dbutils.fs.ls).
Spark SQL fügt eine approx_top_k-Funktion hinzu, die die obersten Elemente und deren Anzahl zurückgibt
Die neue approx_top_k-Funktion gibt die am häufigsten vorkommenden Elementwerte zusammen mit der ungefähren Anzahl für den angegebenen Ausdruck zurück. Beispiele hierfür sind:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
Das Ergebnis der Ausführung eines der beiden Beispiele ist:
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
Weitere Informationen finden Sie unter approx_top_k-Aggregatfunktion.
Auslösen von AvailableNow als jetzt verfügbar in Python genauso wie in Scala
Diese Änderung unterstützt die Delta-Quellstreamingabfragen Trigger.AvailableNow in Python genauso wie in Scala. Databricks Runtime 10.1 hat diesen Trigger in Scala eingeführt. Databricks Runtime 10.2 unterstützt diesen Trigger nun auch in Python. Trigger.AvailableNow Informationen finden Sie unter Autoloader.
Autoloader unterstützt jetzt die Schemaentwicklung für Avro (Public Preview).
Schemarückschluss und -entwicklung in Auto Loader konfigurieren.
Bibliotheksupgrades
- Aktualisierte Python-Bibliotheken:
- filelock von 3.3.1 auf 3.4.0
- plotly von 5.3.0 auf 5.3.1
- Aktualisierte R-Bibliotheken:
- base von 4.1.1 auf 4.1.2
- compiler von 4.1.1 auf 4.1.2
- datasets von 4.1.1 auf 4.1.2
- graphics von 4.1.1 auf 4.1.2
- grDevices von 4.1.1 auf 4.1.2
- grid von 4.1.1 auf 4.1.2
- methods von 4.1.1 auf 4.1.2
- parallel von 4.1.1 auf 4.1.2
- Rserve von 1.8-8 auf 1.8-10
- splines von 4.1.1 auf 4.1.2
- stats von 4.1.1 auf 4.1.2
- stats4 von 4.1.1 auf 4.1.2
- tcltk von 4.1.1 auf 4.1.2
- tools von 4.1.1 auf 4.1.2
- utils von 4.1.1 auf 4.1.2
- backports von 1.2.1 auf 1.4.0
- broom von 0.7.9 auf 0.7.10
- cli von 3.0.1 auf 3.1.0
- cpp11 von 0.4.0 auf 0.4.1
- crayon von 1.4.1 auf 1.4.2
- credentials von 1.3.1 auf 1.3.2
- future von 1.22.1 auf 1.23.0
- gert von 1.4.1 auf 1.4.3
- glmnet von 4.1-2 auf 4.1-3
- glue von 1.4.2 auf 1.5.0
- memoise von 2.0.0 auf 2.0.1
- parallelly von 1.28.1 auf 1.29.0
- readr von 2.0.2 auf 2.1.0
- sessioninfo von 1.1.1 auf 1.2.1
- stringi von 1.7.5 auf 1.7.6
- tibble von 3.1.5 auf 3.1.6
- tinytex von 0.34 auf 0.35
- tzdb von 0.1.2 auf 0.2.0
- usethis von 2.1.2 auf 2.1.3
- uuid von 0.1-4 auf 1.0-3
- vroom von 1.5.5 auf 1.5.6
- xfun von 0.27 auf 0.28
- Aktualisierte Java-Bibliotheken:
- com.fasterxml.jackson von 2.12.2 auf 2.12.3
- io.airlift.aircompressor von 0.19 auf 0.21
- io.netty.netty-all von 4.1.63.Final auf 4.1.68.Final
- joda-time.joda-time von 2.10.5 auf 2.10.10
- org.apache.commons.commons-compress von 1.20 auf 1.21
- org.apache.orc von 1.6.10 auf 1.6.12
- org.eclipse.jetty von 9.4.40.v20210413 auf 9.4.43.v20210629
- org.scalanlp.breeze-macros_2.12 von 1.0 auf 1.2
- org.scalanlp.breeze_2.12 von 1.0 auf 1.2
- org.org.typelevel.algebra_2.12 von 2.0.0 auf 2.0.1
- org.typelevel.cats-kernel_2.12 von 2.0.0 auf 2.0.1
Apache Spark
Databricks Runtime 10.2 enthält Apache Spark 3.2.0. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 10.1 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:
- [SPARK-37447] [SQL] Zwischenspeichern von LogicalPlan.isStreaming() führt zu einem verzögerten Wert
- [SPARK-37468] [SQL] Unterstützung von ANSI-Intervallen und TimestampNTZ für UnionEstimation
- [SPARK-37464] [SQL] SCHEMA und DATABASE sollten einfach Aliase von NAMESPACE sein
- [SPARK-37452] [SQL] Char und Varchar unterbrechen die Abwärtskompatibilität zwischen v3.1 und v2
- [SPARK-36861] [SQL]
yyyy-MM-ddals Datumsmuster bei der Partitionserkennung verwenden - [SPARK-37456] [SQL] CREATE NAMESPACE sollte den Speicherort für den v2-Befehl qualifizieren
- [SPARK-37357] [SQL] Kleinen Partitionsfaktor für die erneute Verteilung von Partitionen hinzufügen
- [SPARK-37446] [SQL] Reflexion für getWithoutRegisterFns verwenden, um verschiedene Hive-Versionen für das Erstellen zu ermöglichen
- [SPARK-37444] [SQL] ALTER NAMESPACE … SET LOCATION sollte leere Speicherplätze in den v1- und v2-Befehlen einheitlich behandeln
- [SPARK-36357] [SQL] Unterstützung von Pushdownzeitstempel ohne Zeitzone für Orc
- [SPARK-36346] [SQL] Unterstützung des TimestampNTZ-Typs in der Orc-Dateiquelle
- [SPARK-36646] [SQL] Pushdown der Gruppe nach Partitionsspalte für Aggregat
- [SPARK-34960] [SQL] Aggregatpushdown für ORC
- [SPARK-37386] [SQL] OptimizeSkewedJoin vereinfachen, damit die Kostenauswertung nicht ausgeführt wird
- [SPARK-36073] [SQL] Korrekturen und Verbesserungen für EquivalentExpressions
- [SPARK-35352] [SQL] Code-Gen für vollständigen äußeren Sort-Merge-Join hinzufügen
- [SPARK-37292] [SQL] Entfernt den äußeren Join, wenn er nur über DISTINCT auf der gestreamten Seite mit Alias verfügt
- [SPARK-37371] [SQL] UnionExec sollte columnar unterstützen, wenn alle untergeordneten Elemente columnar unterstützen
- [SPARK-36645] [SQL] Aggregatpushdown (Min/Max/Count) für Parquet
- [SPARK-37379] [SQL] Strukturmusterbereinigung zur CTESubstitution-Regel hinzufügen
- [SPARK-37332] [SQL] ANSI-Intervalle in
ALTER TABLE .. ADD COLUMNSzulassen - [SPARK-37224] [SS] Schreibpfad des RocksDB-Zustandsspeicheranbieters optimieren
- [SPARK-37304] [SQL] ANSI-Intervalle in v2
ALTER TABLE .. REPLACE COLUMNSzulassen - [SPARK-36924] [SQL] CAST zwischen ANSI-Intervallen und IntegralType
- [SPARK-37289] [SQL]
partitionSchemaOption-Funktion entfernen - [SPARK-37270] [SQL] Pushen von foldable in CaseWhen-Branches korrigieren, wenn elseValue leer ist
- [SPARK-35345] [SQL] Parquet-Tests zu BloomFilterBenchmark hinzufügen
- [SPARK-37341] [SQL] Unnötige Puffer und Kopien im vollständigen äußeren Sort-Merge-Join vermeiden
- [SPARK-37266] [SQL] Anzeigetext kann nur von SELECT-Abfragen sein
- [SPARK-37288] [PYTHON][3.2] Zurückportierung seit der Aktualisierung der Anmerkungen
- [SPARK-37262] [SQL] Leeres Aggregat und Gruppieren nach in JDBCScan nicht protokollieren
- [SPARK-37283] [SQL] Nicht versuchen, eine V1-Tabelle zu speichern, die ANSI-Intervalle im Hive-kompatiblen Format enthält
- [SPARK-37221] [SQL] Die collect-ähnliche API in SparkPlan sollte die spaltenbasierte Ausgabe unterstützen
- [SPARK-37202] [SQL] AnalysisContext zum Nachverfolgen von temporären Funktionen verwenden, auf die verwiesen wird
- [SPARK-37023] [CORE] Abrufen des Mergestatus vermeiden, wenn shuffleMergeEnabled für shuffleDependency bei Wiederholung falsch ist
- [SPARK-37307] [CORE] Keine JDBC-Verbindung für leere Partitionen abrufen
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions-Unterstützung optimiert Nicht-Stammknoten
- [SPARK-36799] [SQL] queryExecution-Name in CLI übergeben
- [SPARK-37261] [SQL] Hinzufügen von Partitionen mit ANSI-Intervallen in DSv2 zulassen
- [SPARK-37203] [SQL] Korrektur von NotSerializableException bei Beobachtung mit TypedImperativeAggregate
- [SPARK-37199] [SQL] Deterministisches Feld zu QueryPlan hinzufügen
- [SPARK-37253] [PYTHON]
try_simplify_tracebacksollte nicht fehlerhaft sein, wenntb_frame.f_linenoentsprechend „None“ (Keine) ergibt - [SPARK-37214] [SQL] Fehler bei Abfrageanalyse bei ungültigen Bezeichnern früher anzeigen
- [SPARK-37240] [SQL] ANSI-Intervalle durch
ColumnVectorUtils.populate()verarbeiten - [SPARK-35437] [SQL] Ausdrücke verwenden, um Hive-Partitionen auf der Clientseite zu filtern
- [SPARK-32940] [SQL] „Collect“, „First“ und „Last“ sollten deterministische Aggregatfunktionen sein
- [SPARK-37231] [SQL] Dynamische Schreib-/Lesevorgänge von ANSI-Intervallpartitionen
- [SPARK-37038] [SQL] DSV2-Beispielpushdown
- [SPARK-36665] [SQL] Weitere Vereinfachungen für NOT-Operator hinzufügen
- [SPARK-37150] [SQL] DESCRIBE NAMESPACE migrieren, um standardmäßig den V2-Befehl zu verwenden
- [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale konnte Null nicht zurückgeben
- [SPARK-37212] [SQL] Implementierung des Aggregatpushdowns verbessern
- [SPARK-37190] [SQL] Fehlermeldungen für Cast im ANSI-Modus verbessern
- [SPARK-37161] [SQL] RowToColumnConverter-Unterstützung von AnsiIntervalType
- [SPARK-37160] [SQL] Konfiguration zur optionalen Deaktivierung von Auffüllungen für den Typ „char“ hinzufügen
- [SPARK-36554] [SQL][PYTHON] make_date-Ausdruck in functions.scala verfügbar machen
- [SPARK-37200] [SQL] Unterstützung von DROP INDEX für Datenquelle V2
- [SPARK-37179] [SQL] ANSI-Modus: Konfiguration hinzufügen, die die Umwandlung zwischen „Datetime“ und „Numeric“ gestattet
- [SPARK-37168] [SQL] Fehlermeldungen für SQL-Funktionen und -Operatoren im ANSI-Modus verbessern
- [SPARK-36935] [SQL] ParquetSchemaConverter zum Berechnen von Parquet-Wiederholungen und Definitionsebenen erweitern
- [SPARK-37066] [SQL] Fehlermeldung verbessern, um den Dateipfad anzuzeigen, wenn die nächste Datei nicht gelesen werden kann
- [SPARK-32567] [SQL] Codegenerierung für vollständigen äußeren gemischten Hashjoin hinzufügen
- [SPARK-37176] [SQL] Logik der Ausnahmebehandlung der Methode JsonInferSchema#infer mit der Methode JacksonParser#parse synchronisieren
- [SPARK-37149] [SQL] Fehlermeldungen für arithmetische Überlaufausnahmen im ANSI-Modus verbessern
- [SPARK-37136] [SQL] Code über die integrierte Hive-Funktion entfernen, aber nicht in Spark implementieren
- [SPARK-16280][SPARK-37082] [SQL] Implementierung der Aggregationsfunktion histogram_numeric, die eine partielle Aggregation unterstützt
- [SPARK-36975] [SQL] Korrektur der Metrik der Hive-Clientaufrufe in HiveClientImpl
Wartungsupdates
Weitere Informationen finden Sie unter Databricks Runtime 10.2 Wartungsaktualisierung.
Systemumgebung
- Betriebssystem: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
Installierte Python-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | bleach | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorator | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | distro-info | 0.23ubuntu1 | entrypoints | 0,3 |
| facets-overview | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | koalas | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | Notebook | 6.3.0 | numpy | 1.19.2 |
| Packen | 20.9 | Pandas | 1.2.4 | pandocfilters | 1.4.3 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.2.0 | pip | 21.0.1 |
| plotly | 5.3.1 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2,20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | Python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | sechs | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tenacity | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | unattended-upgrades | 0,1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
Installierte R-Bibliotheken
R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme am 30.11.2021 installiert.
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | Blob | 1.2.2 | boot | 1.3-28 |
| brew | 1.0-6 | brio | 1.1.2 | broom | 0.7.10 |
| bslib | 0.3.1 | cachem | 1.0.6 | callr | 3.7.0 |
| caret | 6.0-90 | cellranger | 1.1.0 | chron | 2.3-56 |
| class | 7.3-19 | cli | 3.1.0 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
| commonmark | 1.7 | compiler | 4.1.2 | config | 0.3.1 |
| cpp11 | 0.4.1 | crayon | 1.4.2 | Anmeldeinformationen | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | desc | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | digest | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| ellipsis | 0.3.2 | Evaluieren | 0.14 | fansi | 0.5.0 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.1 | foreign | 0.8-81 |
| forge | 0.2.0 | fs | 1.5.0 | future | 1.23.0 |
| future.apply | 1.8.1 | gargle | 1.2.0 | generics | 0.1.1 |
| gert | 1.4.3 | ggplot2 | 3.3.5 | gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | globals | 0.14.0 |
| glue | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| gower | 0.2.2 | Grafiken | 4.1.2 | grDevices | 4.1.2 |
| grid | 4.1.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | haven | 2.4.3 | highr | 0.9 |
| hms | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-12 | isoband | 0.2.5 | iterators | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| knitr | 1.36 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | Lebenszyklus | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | Matrix | 1.3-4 |
| memoise | 2.0.1 | methods | 4.1.2 | mgcv | 1.8-38 |
| mime | 0,12 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | parallel | 4.1.2 |
| parallelly | 1.29.0 | pillar | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| Fortschritt | 1.2.2 | progressr | 0.9.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-26 | ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| readr | 2.1.0 | readxl | 1.3.1 | recipes | 0.1.17 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.1 |
| reprex | 2.0.1 | reshape2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2.11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0,13 | rversions | 2.1.1 |
| rvest | 1.0.2 | sass | 0.4.0 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.1 | shape | 1.4.6 |
| shiny | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | spatial | 7.3-11 | splines | 4.1.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.1.2 |
| stats4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| survival | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2,10 | testthat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | tidyverse | 1.3.1 |
| timeDate | 3043.102 | tinytex | 0,35 | tools | 4.1.2 |
| tzdb | 0.2.0 | usethis | 2.1.3 | utf8 | 1.2.2 |
| utils | 4.1.2 | uuid | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | vroom | 1.5.6 | waldo | 0.3.1 |
| whisker | 0,4 | withr | 2.4.2 | xfun | 0.28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | zip | 2.2.0 |
Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Datenstrom | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 1.3.2 |
| dev.ludovic.netlib | blas | 1.3.2 |
| dev.ludovic.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Sammlung | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | orc-shims | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-continuation | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |