Databricks Runtime 10.5 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.5 (unterstützt von Apache Spark 3.2.1). Databricks hat diese Images im Mai 2022 veröffentlicht.

Neue Features und Verbesserungen

SQL: neue Funktionen to_number und try_to_number

Mit den Funktionen to_number und try_to_number können Sie Zeichendarstellungen von Zahlen in verschiedenen Formaten in DECIMAL konvertieren.

SQL: neue Funktion try_sum

Im Gegensatz zu sum gibt die try_sum-Aggregatfunktion NULL anstelle eines Fehlers zurück, wenn ein Überlauf auftritt.

SQL: Update für die Funktionen ceil, ceiling und floor

Die Funktionen ceil, ceiling und floor unterstützen jetzt ein zweites optionales Argument, mit dem eine Zielskalierung angegeben werden kann.

SQL: neue Aggregatfunktionen regr_avgx und regr_avgy

Die neuen Aggregatfunktionen regr_avgx und regr_avgy unterstützen lineare Regressionen.

SQL: Update für die Funktionen contains, startswith und endswith

Die Funktionen contains, startswith und endswith unterstützt jetzt zusätzlich zu Zeichenfolgen auch binäre Datentypen als Eingabe.

SQL: neue Funktion array_size

Die neue array_size-Funktion berechnet die Größe eines Arrays.

Unity Catalog: In der Ausgabe von SQL LIST wurde die Spalte is_directory entfernt und nachgestellte / für Verzeichnispfade hinzugefügt (Public Preview).

Die Ausgabe der SQL-Anweisung LIST zum Auflisten von Pfaden, die von Unity Catalog gesteuert werden, wurde geändert. Die Spalte is_directory wird nicht mehr angezeigt. Stattdessen enden Pfade, die Verzeichnisse darstellen, jetzt mit einem nachgestellten Schrägstrich (/) für die Spalten path und name. Diese Änderung dient der Konsistenz mit der Ausgabe des Befehls dbutils.fs.ls.

Autoloader: neue SQL Funktion CLOUD_FILES_STATE

Sie können die neue CLOUD_FILES_STATE-Funktion verwenden, um den internen Zustand eines Autoloader-Datenstroms abzufragen. Weitere Informationen finden Sie unter Abfragen von Dateien, die von Autoloader ermittelt wurden.

Autoloader: Unterstützung für Dateibenachrichtigungen ist jetzt allgemein verfügbar

Dateibenachrichtigungsunterstützung für Was ist Auto Loader? auf Google Cloud ist jetzt allgemein verfügbar.

Delta Lake: neue Option maxRecordsPerFile für maximale Anzahl von Datensätzen, die in eine einzelne Datei geschrieben werden

Wenn Sie die DataFrame-APIs zum Schreiben in eine Delta-Tabelle verwenden, können Sie mit der Option maxRecordsPerFile die maximale Anzahl von Datensätzen angeben, die in eine einzelne Datei geschrieben werden sollen. Wenn Sie null oder einen negativen Wert angeben, gilt kein Grenzwert. Weitere Informationen finden Sie unter Konfigurieren von Delta Lake zum Steuern der Datendateigröße.

Koalas veraltet

Koalas gilt jetzt als veraltet. Koalas bietet pandas-APIs als Ergänzung zu Apache Spark. Koalas wurde von der Community unterstützt und als pandas-API für Spark ab Apache Spark 3.2 zur Verfügung gestellt. Koalas wird weiterhin für Databricks Runtime 10.5 vorinstalliert, aber ab der nächsten Databricks Runtime-Version nicht mehr vorinstalliert.

Weitere Informationen zur pandas-API für Spark finden Sie unter:

Neue Spalte _metadata für alle Dateiformate

Sie können Metadateninformationen für Eingabedateien mit der Spalte _metadata abrufen. Die Spalte _metadata ist ausgeblendet. Diese Spalte ist für alle Eingabedateiformate verfügbar. Um die Spalte _metadata in einen zurückgegebenen DataFrame einzuschließen, müssen Sie in Ihrer Abfrage explizit auf diese Spalte verweisen. Weitere Informationen finden Sie unter Spalte mit Dateimetadaten.

Testen der Delta Live Tables-Pipeline mit Databricks Runtime 10.5

Databricks Runtime 10.5 ist jetzt die unterstützte preview-Version für Delta Live Tables. Um Ihre Pipeline mit Databricks Runtime 10.5 zu testen, legen Sie die Einstellung channel in den Pipelineeinstellungen auf preview fest.

Fehlerbehebungen

  • Die Anzeige der Metrikergebnisse numUpdatedRows und numCopiedRows für Updatevorgänge in Delta-Tabellen, bei denen Change Data Capture (CDC) aktiviert ist, wurde korrigiert.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • plotly von 5.5.0 auf 5.6.0
  • Aktualisierte R-Bibliotheken:
    • base von 4.1.2 auf 4.1.3
    • caret von 6.0-90 auf 6.0-91
    • cluster von 2.1.2 auf 2.1.3
    • commonmark von 1.7 auf 1.8.0
    • compiler von 4.1.2 auf 4.1.3
    • crayon von 1.5.0 auf 1.5.1
    • datasets von 4.1.2 auf 4.1.3
    • desc von 1.4.0 auf 1.4.1
    • fansi von 1.0.2 auf 1.0.3
    • glue von 1.6.1 auf 1.6.2
    • graphics von 4.1.2 auf 4.1.3
    • grDevices von 4.1.2 auf 4.1.3
    • grid von 4.1.2 auf 4.1.3
    • knitr von 1.37 auf 1.38
    • MASS von 7.3-55 auf 7.3-56
    • Matrix von 1.4-0 auf 1.4-1
    • methods von 4.1.2 auf 4.1.3
    • mgcv von 1.8-39 auf 1.8-40
    • nlme von 3.1-155 auf 3.1-157
    • openssl von 1.4.6 auf 2.0.0
    • parallel von 4.1.2 auf 4.1.3
    • plyr von 1.8.6 auf 1.8.7
    • processx von 3.5.2 auf 3.5.3
    • r2d3 von 0.2.5 auf 0.2.6
    • Rcpp von 1.0.8 auf 1.0.8.3
    • rlang von 1.0.1 auf 1.0.2
    • rmarkdown von 2.11 auf 2.13
    • RSQLite von 2.2.10 auf 2.2.11
    • sass von 0.4.0 auf 0.4.1
    • splines von 4.1.2 auf 4.1.3
    • stats von 4.1.2 auf 4.1.3
    • stats4 von 4.1.2 auf 4.1.3
    • tcltk von 4.1.2 auf 4.1.3
    • tools von 4.1.2 auf 4.1.3
    • utils von 4.1.2 auf 4.1.3
    • uuid von 1.0-3 auf 1.0-4
    • waldo von 0.3.1 auf 0.4.0
    • withr von 2.4.3 auf 2.5.0
    • xfun von 0.29 auf 0.30
  • Aktualisierte Java-Bibliotheken:
    • com.h2database.h2 von 1.4.195 auf 2.1.210
    • org.apache.hadoop.hadoop-client-api von 3.3.1-databricks auf 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime von 3.3.1 auf 3.3.2
    • org.rocksdb.rocksdbjni von 6.24.2 auf 6.20.3

Apache Spark

Databricks Runtime 10.5 enthält Apache Spark 3.2.1. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 10.4 LTS enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-38354] [SC-97886] „[SQL] Hashtestmetrik für gemischten Hashjoin hinzufügen“ wiederherstellen
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Modul Instrument PySpark SQL mit allgemeinem Nutzungsprotokoll
  • [SPARK-38333] [SQL] PlanExpression-Ausdruck sollte addExprTree-Funktion im Executor überspringen
  • [SPARK-38646] [PYTHON][10.x] Merkmal für Python-Funktionen extrahieren
  • [SPARK-38674] [PHOTON] Metrik in PhotonSubqueryBroadcastExec hinzufügen
  • [SPARK-38787] [SS] Gefundenen Wert durch Nicht-NULL-Element in verbleibender Liste für Schlüssel ersetzen und übrige NULL-Elemente aus Werten im keyWithIndexToValue-Speicher für Datenstrom-Datenstrom-Joins entfernen
  • [SPARK-38446] [Core] Durch Log4j verursachtes Deadlock zwischen ExecutorClassLoader und FileDownloadCallback korrigieren
  • [SPARK-38705] [SQL] Funktionsbezeichner im create- und drop-Befehl verwenden
  • [SPARK-38684] [SS] Genauigkeitsproblem bei äußerer Verknüpfung zwischen Datenströmen mit RocksDB-Anbieter für Zustandsspeicher korrigieren
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase findet die Versatzzeile nicht, deren Eingabe nicht NULL ist
  • [SPARK-38204] [SS] StatefulOpClusteredDistribution für zustandsbehaftete Operatoren für Abwärtskompatibilität verwenden
  • [SPARK-38616] [SQL] SQL-Abfragetext in Catalyst TreeNode nachverfolgen
  • [SPARK-38600] [SQL] unit in die SQL-Zeichenfolge von TIMESTAMPADD/DIFF einschließen
  • [SPARK-34805] [SQL] Metadaten aus geschachtelten Spalten im Alias weitergeben
  • [SPARK-38535] [SQL] datetimeUnit-Enumeration hinzufügen und in TIMESTAMPADD/DIFF verwenden
  • [SPARK-38415] [SQL] Ergebnistyp histogram_numeric (x, y) aktualisieren, damit x == Eingabetyp
  • [SPARK-38148] [SQL] Keine dynamische Partitionsbereinigung hinzufügen, wenn eine statische Partitionsbereinigung vorhanden ist
  • [SPARK-37527] [SQL] COVAR_POP, COVAR_SAMP und CORR in H2Dialet kompilieren
  • [SPARK-38510] [SQL] ClassSymbol.selfType als Workaround für zyklische Verweise wiederholen
  • [SPARK-38509] [SQL] Registrierung der TIMESTAMPADD/DIFF-Funktionen aufheben und DATE_ADD/DIFF entfernen
  • [SPARK-38504] [SQL] TimestampNTZ kann nicht als TimestampLTZ gelesen werden
  • [SPARK-38526] [SQL] Irreführenden Funktionsaliasnamen für RuntimeReplaceable korrigieren
  • [SPARK-38335] [SQL] Parserunterstützung für DEFAULT-Spaltenwerte implementieren
  • [SPARK-38593] [SS] Metrik für die Anzahl verworfener verspäteter Ereignisse in SessionWindowStateStoreSaveExec übertragen
  • [SPARK-38549] [SS] numRowsDroppedByWatermark in SessionWindowStateStoreRestoreExec hinzufügen
  • [SPARK-38583] [SQL] Verhalten von to_timestamp wiederherstellen, das numerische Typen erlaubt
  • [SPARK-38481] [SQL] Java-Überlaufausnahme von TIMESTAMPADD durch Spark-Ausnahme ersetzen
  • [SPARK-37753] [SQL] Logik zum Herabstufen des Broadcast-Hashjoins in DynamicJoinSelection optimieren
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH sollten Zeichenfolgen- und Binärtypen unterstützen
  • [SPARK-38345] [SQL] SQL-Funktion ARRAY_SIZE hinzufügen
  • [SPARK-38385] [SQL] Fehlermeldungen für leere Anweisung und <EOF> in ParseException verbessern
  • [SPARK-37614] [SQL] Unterstützung von ANSI-Aggregatfunktion: regr_avgx und regr_avgy
  • [SPARK-38560] [SQL] Wenn Sum, Count, Any zusammen mit distinct auftreten, ist kein teilweiser Aggregat-Pushdown möglich.
  • [SPARK-38360] [SQL][SS][PYTHON] exists-Funktion für TreeNode einführen, um doppelte Codemuster zu vermeiden
  • [SPARK-38385] [SQL] Fehlermeldungen bei Fällen von nicht übereinstimmenden Eingaben aus ANTLR verbessern
  • [SPARK-38240] [SQL] RuntimeReplaceable verbessern und Leitfaden für das Hinzufügen neuer Funktionen hinzufügen
  • [SPARK-38542] [SQL]UnsafeHashedRelation sollte numKeys herausserialisieren
  • [SPARK-38521] [SQL] partitionOverwriteMode in Scala von Zeichenfolge in Variable ändern
  • [SPARK-38558] [SQL] Unnötige Umwandlungen zwischen IntegerType und IntDecimal entfernen
  • [SPARK-38489] [SQL] Aggregate.groupOnly sollte faltbare Ausdrücke unterstützen
  • [SPARK-38410] [SQL] Spezifische anfängliche Partitionsnummer als Ausgleich unterstützen
  • [SPARK-38107] [SQL] Fehlerklassen in den Kompilierungsfehlern von UDFs in Python/pandas verwenden
  • [SPARK-38354] [SQL] Hashtestmetrik für gemischten Hashjoin hinzufügen
  • [SPARK-38112] [SQL] Fehlerklassen in den Ausführungsfehlern der Behandlung von Datum/Zeitstempel verwenden
  • [SPARK-38361] [SQL] Factorymethode getConnection in JDBCDialect hinzufügen.
  • [SPARK-37865] [SQL] Fehler bei Deduplizierung während Vereinigung beheben
  • [SPARK-38298] [SQL][Tests] DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite im ANSI-Modus korrigieren
  • [SPARK-38407] [SQL] ANSI-Umwandlung: Einschränkung für das Umwandeln komplexer Typen, die nicht NULL sind, lockern
  • [SPARK-38352] [SQL] DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite im ANSI-Modus korrigieren
  • [SPARK-38054] [SQL] Unterstützung für das Auflisten von Namespaces im MySQL-Dialekt von JDBC v2 hinzufügen
  • [SPARK-37960] [SQL] Neues Framework zur Darstellung von catalyst-Ausdrücken in DS v2-APIs
  • [SPARK-38103] [SQL] Analysefehler bei Transformationen zu neuem Fehlerframework migrieren
  • [SPARK-38519] [SQL] Von AQE ausgelöste Ausnahme sollte SparkFatalException berücksichtigen
  • [SPARK-38528] [SQL] Schnelles Iterieren über Aggregatsequenz beim Erstellen einer Projektliste in ExtractGenerator
  • [SPARK-38320] [SS] flatMapGroupsWithState-Timeout in Batch mit Daten für Schlüssel korrigieren
  • [SPARK-38442] [SQL] ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite im ANSI-Modus korrigieren
  • [SPARK-38268] [SQL] Feld „failOnError“ in toString-Methode von Abs/CheckOverflow ausblenden
  • [SPARK-37949] [SQL] Ausgleich von Statistikschätzung verbessern
  • [SPARK-38450] [SQL] HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite im ANSI-Modus korrigieren
  • [SPARK-38501] [SQL] thriftserver-Testfehler im ANSI-Modus korrigieren
  • [SPARK-37895] [SQL] Pushdownspalte nach Spalten mit Anführungszeichen filtern
  • [SPARK-38449] [SQL] Aufruf von createTable bei ignoreIfExists=true und vorhandener Tabelle vermeiden
  • [SPARK-38406] [SQL] Leistung von ShufflePartitionsUtil createSkewPartitionSpecs verbessern
  • [SPARK-37947] [SQL] Generator von GeneratorOuter-Ausdruck in einem Generate-Operator extrahieren
  • [SPARK-38309] [CORE] Perzentilmetriken für SHS shuffleTotalReads und shuffleTotalBlocks korrigieren
  • [SPARK-38412] [SS] Umgekehrte Sequenz aus „von“ und „in“ in StateSchemaCompatibilityChecker korrigieren
  • [SPARK-38267] [CORE][SQL][SS] Musterübereinstimmungen in booleschen Ausdrücken durch bedingte Anweisungen ersetzen
  • [SPARK-38104] [SQL] Analysefehler in Fenstern zu neuem Fehlerframework migrieren
  • [SPARK-38434] [SQL] Semantik der CheckAnalysis.getDataTypesAreCompatibleFn-Methode korrigieren
  • [SPARK-38033] [SS] Start der SS-Verarbeitung nicht möglich wegen com…
  • [SPARK-38378] [SQL] Refactoring der ANTLR-Grammatikdefinition in separate Parser- und Lexer-Dateien
  • [SPARK-37475] [SQL] Skalierungsparameter in Funktionen floor und ceil hinzufügen
  • [SPARK-38411] [CORE] UTF-8 verwenden, wenn doMergeApplicationListingInternal Ereignisprotokolle liest
  • [SPARK-36553] [ML] KMeans sollte die Berechnung zusätzlicher Statistiken für große K vermeiden
  • [SPARK-38393] [SQL] Veraltete Verwendung von GenSeq/GenMap bereinigen
  • [SPARK-38389] [SQL] Aliase DATEDIFF() und DATE_DIFF() für TIMESTAMPDIFF() hinzufügen
  • [SPARK-33206] [CORE][3.2] Berechnung der Gewichtung bei gemischten Indexcaches für kleine Indexdateien korrigieren
  • [SPARK-38353] [PYTHON] Magic-Befehle enter und exit für pandas-API für Spark nutzen
  • [SPARK-38323] [SQL][Streaming] Unterstützung für ausgeblendete Dateimetadaten beim Streaming
  • [SPARK-38138] [SQL] QueryPlan-Unterabfragen materialisieren
  • [SPARK-38094] Abgleich von Schemaspaltennamen mit Feld-IDs aktivieren
  • [SPARK-37923] [SQL] Partitionstransformationen für internen BucketSpec-Parser generieren
  • [SPARK-38363] [SQL] Runtimefehler in Dataset.summary()/Dataset.describe() bei aktiviertem ANSI-Modus vermeiden
  • [SPARK-38284] [SQL] TIMESTAMPDIFF()-Funktion hinzufügen
  • [SPARK-38251] [SQL] Cast.toString im ANSI-Modus in „cast“ und nicht in „ansi_cast“ ändern
  • [SPARK-38314] [SQL] Fehler beim Lesen von Parquet-Dateien nach dem Schreiben der ausgeblendeten Dateimetadaten korrigieren

Weitere Informationen finden Sie unter Databricks Runtime 10.5 Wartungsupdate.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 Notebook 6.3.0 numpy 1.20.1
Packen 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 sechs 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 28.03.2022 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-91 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 Anmeldeinformationen 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 Evaluieren 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 Grafiken 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
Lebenszyklus 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-56
Matrix 1.4-1 memoise 2.0.1 methods 4.1.3
mgcv 1.8-40 mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 Fortschritt 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1