Databricks Runtime 10.1 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.1 und Databricks Runtime 10.1 Photon, unterstützt von Apache Spark 3.2.0. Databricks hat diese Images im November 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Neue Features und Verbesserungen

Neue Delta-Tabelleneinstellungen zum Komprimieren kleiner Dateien

Die Delta-Tabelleneigenschaft delta.autoOptimize.autoCompact akzeptiert jetzt die neuen Werte auto und legacy zusätzlich zu den vorhandenen Werten true und false. Wenn die Eigenschaft auf auto festgelegt wird (empfohlen), verwendet die automatische Komprimierung besser geeignete Standardwerte, zum Beispiel 32 MB als Zieldateigröße. Zukünftige Änderungen am Standardverhalten sind jedoch vorbehalten. Wenn die Eigenschaft auf legacy oder true festgelegt wird (empfohlen), verwendet die automatische Komprimierung 128 MB als Zieldateigröße.

Anstatt diese Eigenschaft für eine einzelne Tabelle festzulegen, können Sie die spark.databricks.delta.autoCompact.enabled-Konfiguration auf auto, legacy oder true festlegen, um die automatische Komprimierung für alle Delta-Tabellen zu aktivieren. Diese Konfiguration hat während der aktuellen Sitzung Vorrang vor der Eigenschaft der verknüpften Tabelle.

Die Zieldateigröße für die automatische Komprimierung kann mit der spark.databricks.delta.autoCompact.maxFileSize-Konfiguration gesteuert werden.

Weitere Informationen zur automatischen Komprimierung finden Sie unter Automatische Komprimierung für Delta Lake in Azure Databricks.

Neue Zeilengruppenmetriken für Parquet-Abfragescans

Abfragen mit Parquet-Scans zeigen nun Zeilengruppenmetriken auf der Spark-Benutzeroberfläche an. Diese Zeilengruppenmetriken lauten:

  • Gesamtzahl der Parquet-Zeilengruppen
  • Anzahl gelesener Parquet-Zeilengruppen

Trigger.AvailableNow für Delta-Quellstreamingabfragen

Durch diese Änderung wird ein neuer Triggertyp für Delta-Quellstreamingabfragen in Scala unterstützt: Trigger.AvailableNow. Dieser ähnelt Trigger.Once, der alle verfügbaren Daten verarbeitet und die Abfrage dann beendet. Trigger.AvailableNow bietet jedoch eine bessere Skalierbarkeit, da Daten in mehreren Batches statt nur in einem verarbeitet werden können. Für diese Änderung wird keine neue Schnittstelle eingeführt, sondern eine vorhandene Spark-API implementiert. Dieser Trigger unterstützt auch alle Ratenbegrenzungsoptionen, die bereits von Delta als Quelle unterstützt werden.

Beispiel:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Trigger.AvailableNow Informationen finden Sie unter Autoloader.

Trigger.AvailableNow für Auto Loader

Trigger.AvailableNow ist ein neuer Streamingtriggermodus, der Trigger.Once ähnelt. Trigger.Once verarbeitet alle verfügbaren Daten und beendet dann die Abfrage. Trigger.AvailableNow bietet eine bessere Skalierbarkeit, da Daten in mehreren Batches statt nur in einem verarbeitet werden können. Autoloader unterstützt jetzt Trigger.AvailableNow sowohl im Verzeichnislisten- als auch im Dateibenachrichtigungsmodus für Scala. Trigger.AvailableNow Informationen finden Sie unter Autoloader.

Delta-Unterstützung für Hadoop-Dateisystemkonfigurationen, die über DataFrame-Optionen übergeben werden

Ähnlich wie Parquet unterstützt Delta jetzt das Lesen von Hadoop-Dateisystemkonfigurationen aus DataFrameReader- und DataFrameWriter-Optionen, wenn die Tabelle mithilfe von DataFrameReader.load(path) oder DataFrameWriter.save(path) gelesen oder geschrieben wird. Weitere Informationen finden Sie unter Konfigurieren von Delta-Speicheranmeldeinformationen.

Asynchrone Zustandsprüfpunkte werden jetzt in zustandsbehafteten Streamingaufträgen unterstützt (Public Preview)

Asynchrone Zustandsprüfpunkte sind ein neues Feature, das potenziell die End-to-End-Microbatchlatenz bei zustandsbehafteten Streamingaufträgen mit großen Zustandsupdates reduziert. Weitere Informationen finden Sie unter Asynchrone Zustandsprüfpunkte für zustandsbehaftete Abfragen.

Sparklyr mit Passthrough für Anmeldeinformationen

Sie können jetzt die Sparklyr-APIs verwenden, um Daten mit Passthrough für Anmeldeinformationen in und aus dem Cloudspeicher zu lesen und zu schreiben. Diese Funktionalität ist auf Standardcluster mit Einzelbenutzerzugriff beschränkt. Siehe Zugriff auf Azure Data Lake Storage mithilfe von Passthrough (Legacy) für Microsoft Entra ID (früher Azure Active Directory)-Anmeldeinformationen.

Genauigkeitssteuerung in Databricks-Hilfsprogrammen mit data.summarize (Public Preview)

Ein neuer precise-Parameter für dbutils.data.summarize steuert die Genauigkeit von Zusammenfassungsergebnissen. Wenn precise auf „false“ (Standardwert) festgelegt ist, gibt die Zusammenfassung ungefähre Ergebnisse für eindeutige Werte, das Perzentil und die Werte häufiger Einträge zurück. Wenn precise auf „true“ festgelegt ist, werden Zusammenfassungen jetzt mit exakten eindeutigen Werten und exakten Werten häufiger Einträge berechnet, und Perzentile werden genauer geschätzt. Weitere Informationen finden Sie unter summarize-Befehl (dbutils.data.summarize).

Azure Databricks Notebooks jetzt mit dem IPython-Kernel kompatibel

Sie können einen Azure Databricks-Cluster jetzt dafür konfigurieren, den IPython-Kernel zum Ausführen von Python-Code zu verwenden. Die Verwendung des IPython-Kernels in Azure Databricks bietet Unterstützung für die Anzeige- und Ausgabetools von IPython. Außerdem erfasst der IPython-Kernel die stdout- und stderr-Ausgaben untergeordneter Prozesse, die von einem Notebook erstellt wurden, sodass diese Ausgabe in die Befehlsergebnisse des Notebooks aufgenommen werden kann.

Weitere Informationen finden Sie unter IPython-Kernel.

Neue Funktionen in Spark SQL

Die folgenden Objekte und Befehle wurden für die Arbeit mit Daten im Unity-Katalog (Vorschauversion) hinzugefügt:

Die folgenden Befehle wurden für Delta Sharing (Vorschauversion) hinzugefügt, damit Sie schreibgeschützte Daten für Empfänger*innen außerhalb Ihrer Organisation freigeben können:

Fehlerbehebungen

  • Ein Problem mit einer Racebedingung wurde behoben, das zu einem Abfragefehler mit einer IOException-Ausnahme No FileSystem for scheme oder dazu geführt hat, dass Änderungen an sparkContext.hadoopConfiguration keine Auswirkung in Abfragen haben.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • filelock von 3.0.12 auf 3.3.1
    • koalas von 1.8.1 auf 1.8.2
    • plotly von 5.1.0 auf 5.3.0
  • Aktualisierte R-Bibliotheken:
    • bslib von 0.3.0 auf 0.3.1
    • caret von 6.0-88 auf 6.0-90
    • cpp11 von 0.3.1 auf 0.4.0
    • data.table von 1.14.0 auf 1.14.2
    • desc von 1.3.0 auf 1.4.0
    • diffobj von 0.3.4 auf 0.3.5
    • digest von 0.6.27 auf 0.6.28
    • generics von 0.1.0 auf 0.1.1
    • hms von 1.1.0 auf 1.1.1
    • knitr von 1.34 auf 1.36
    • lattice von 0.20-44 auf 0.20-45
    • lifecycle von 1.0.0 auf 1.0.1
    • lubridate von 1.7.10 auf 1.8.0
    • mgcv von 1.8-37 auf 1.8-38
    • mime von 0.11 auf 0.12
    • pkgload von 1.2.2 auf 1.2.3
    • progressr von 0.8.0 auf 0.9.0
    • rcmdcheck von 1.3.3 auf 1.4.0
    • readr von 2.0.1 auf 2.0.2
    • recipes von 0.1.16 auf 0.1.17
    • remotes von 2.4.0 auf 2.4.1
    • rlang von 0.4.11 auf 0.4.12
    • rvest von 1.0.1 auf 1.0.2
    • shiny von 1.6.0 auf 1.7.1
    • stringi von 1.7.4 auf 1.7.5
    • testthat von 3.0.4 auf 3.1.0
    • tidyr von 1.1.3 auf 1.1.4
    • tinytex von 0.33 auf 0.34
    • usethis von 2.0.1 auf 2.1.2
    • xfun von 0.26 auf 0.27
  • Aktualisierte Java-Bibliotheken:
    • com.zaxxer.HikariCP von 3.1.0 auf 4.0.3

Apache Spark

Databricks Runtime 10.1 enthält Apache Spark 3.2.0. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 10.0 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:

  • [SPARK-37037] [SQL] Sortierung von Bytearrays durch Vereinheitlichen der compareTo-Funktion von UTF8String und ByteArray verbessern
  • [SPARK-37091] [R] SystemRequirements sollte Java 18 und höher enthalten
  • [SPARK-37041] [SQL] Zurückportierung von HIVE-15025: SSL-Unterstützung (Secure Sockets Layer) für HMS
  • [SPARK-37098] [SQL] ALTER TABLE-Eigenschaften sollten den Cache ungültig machen
  • [SPARK-36992] [SQL] Leistung der Sortierung von Bytearrays durch Vereinheitlichen der getPrefix-Funktion von UTF8String und ByteArray verbessern
  • [SPARK-37047] [SQL] lpad- und rpad-Funktionen für Binärzeichenfolgen hinzufügen
  • [SPARK-37076] [SQL] StructType.toString explizit für Scala 2.13 implementieren
  • [SPARK-37075] [SQL] Kompilierung von UDAF-Ausdrücken von sql/catalyst zu sql/core verschieben
  • [SPARK-37084] [SQL] spark.sql.files.openCostInBytes auf bytesConf festlegen
  • [SPARK-37088] [PYSPARK][SQL] Writerthread darf nach der Rückgabe des Listeners für den Taskabschluss nicht mehr auf die Eingabe zugreifen
  • [SPARK-37069] [SQL] Ordnungsgemäßer Fallback bei Nichtverfügbarkeit von Hive.getWithoutRegisterFns
  • [SPARK-37050] [PYTHON] Conda-Installationsanweisungen aktualisieren
  • [SPARK-37067] [SQL] ZoneId.of() zur Verarbeitung von timezone-Zeichenfolgen in DatetimeUtils verwenden
  • [SPARK-35925] [SQL] DayTimeIntervalType in der width-bucket-Funktion unterstützen
  • [SPARK-35926] [SQL] YearMonthIntervalType für width_bucket unterstützen
  • [SPARK-35973] [SQL] Befehl SHOW CATALOGS hinzufügen
  • [SPARK-36922] [SQL] Die Funktionen SIGN und SIGNUM sollten ANSI-Intervalle unterstützen
  • [SPARK-37078] [CORE] Ältere Senkenkonstruktoren mit drei Parametern unterstützen
  • [SPARK-37061] [SQL] Problem mit CustomMetrics bei Verwendung innerer Klassen beheben
  • [SPARK-35918] [AVRO] Umgang mit Schemakonflikten bei Lese- und Schreibvorgängen vereinheitlichen und Fehlermeldungen verbessern
  • [SPARK-36871] [SQL] CreateViewStatement zum v2-Befehl migrieren
  • [SPARK-36898] [SQL] Shufflefaktor für Hashjoins sollte konfigurierbar sein
  • [SPARK-36921] [SQL] ANSI-Intervalle in DIV unterstützen
  • [SPARK-36794] [SQL] Doppelte Joinschlüssel beim Erstellen einer Beziehung für gemischte SEMI-/ANTI-Hashjoins ignorieren
  • [SPARK-36867] [SQL] Fehlermeldung beim GROUP BY-Alias korrigieren
  • [SPARK-36914] [SQL] dropIndex und listIndexes in JDBC implementieren (MySQL-Dialekt)
  • [SPARK-35531] [SQL] HiveTable beim Aufruf von getPartitions direkt an HiveClient übergeben, um eine unnötige Konvertieren von HiveTable in CatalogTable und zurück in HiveTable zu vermeiden
  • [SPARK-36718] [SQL] Projekte nur zuklappen, wenn ressourcenintensive Ausdrücke nicht dupliziert werden
  • [SPARK-37046] [SQL]: ALTER VIEW behält die Groß- und Kleinschreibungseinstellungen der Spalte nicht bei
  • [SPARK-36978] [SQL] Die InferConstraints-Regel sollte IsNotNull-Einschränkungen für das aufgerufene geschachtelte Feld erstellen, nicht für den geschachtelten Stammtyp
  • [SPARK-37052] [CORE] Spark sollte das Argument --verbose nur an die main-Klasse übergeben, wenn SQL als Shell verwendet wird
  • [SPARK-37017] [SQL] Synchronisierungsbereich reduzieren, um potenzielle Deadlocks zu verhindern
  • [SPARK-37032] [SQL] Fehlerhaften Link für SQL-Syntax auf der SQL-Referenzseite korrigieren
  • [SPARK-36905] [SQL] Problem beim Lesen von Hive-Ansichten ohne explizite Spaltennamen korrigieren
  • [SPARK-36678] SHOW TABLES sollte standardmäßig den V2-Befehl verwenden
  • [SPARK-36943] [SQL] Lesbarkeit der Fehlermeldung für fehlende Spalten verbessern
  • [SPARK-36980] [SQL] INSERT-Unterstützungsabfrage mit CTE
  • [SPARK-37001] [SQL] Zweite Zuordnungsebene für endgültige Hashaggregation standardmäßig deaktivieren
  • [SPARK-36970] [SQL] Format B der date_format-Funktion manuell deaktivieren, damit Java 17 mit Java 8 kompatibel ist
  • [SPARK-36546] [SQL] Arrayunterstützung zur Union nach Namen hinzufügen
  • [SPARK-36979] [SQL] RewriteLateralSubquery-Regel zu nonExcludableRules hinzufügen
  • [SPARK-36949] [SQL] Hive-Anbietertabellen in ANSI-Intervallen nicht zulassen
  • [SPARK-36849] [SQL] UseStatement zum v2-Befehlsframework migrieren
  • [SPARK-36868] [SQL] CreateFunctionStatement zum v2-Befehlsframework migrieren
  • [SPARK-36841] [SQL] ANSI-Syntax set catalog xxx zum Ändern des aktuellen Katalogs hinzufügen
  • [SPARK-36821] [SQL] Nachtrag: ColumnarBatch-Klasse sollte erweiterbar sein
  • [SPARK-36963] [SQL] max_by/min_by zu sql.functions hinzufügen
  • [SPARK-36913] [SQL] createIndex und IndexExists in DS V2 JDBC implementieren (MySQL-Dialekt)
  • [SPARK-36848] [SQL] ShowCurrentNamespaceStatement zum v2-Befehlsframework migrieren
  • [SPARK-36526] [SQL] DSV2-Indexunterstützung: supportsIndex-Schnittstelle hinzufügen
  • [SPARK-36960] [SQL] Filter mit ANSI-Intervallwerten an ORC pushen
  • [SPARK-36929] [SQL] Nicht verwendete Methode EliminateSubqueryAliasesSuite#assertEquivalent entfernen
  • [SPARK-36931] [SQL] Lesen und Schreiben von ANSI-Intervallen aus und in ORC-Datenquellen unterstützen
  • [SPARK-34980] [SQL] Durch Union zusammengefügte Partitionen in AQE unterstützen
  • [SPARK-36809] [SQL] Broadcast für in DPP verwendete InSubqueryExec-Klasse entfernen
  • [SPARK-36813] [SQL][PYTHON] Vorschlag für Infrastruktur mit ASOF JOIN und Implementierung von ps.merge_asof
  • [SPARK-36918] [SQL] Typen beim Vergleichen von Strukturen für unionByName ignorieren
  • [SPARK-36891] [SQL] SpecificParquetRecordReaderBase umgestalten und zusätzliche Abdeckung für vektorisierte Parquet-Decodierung hinzufügen
  • [SPARK-36920] [SQL] ANSI-Intervalle in ABS() unterstützen
  • [SPARK-36888] [SQL] Testfälle für sha2-Funktion hinzufügen
  • [SPARK-36889] [SQL] spark.sql.parquet.filterPushdown soll vom v2-Generator für Parquet-Scans berücksichtigt werden
  • [SPARK-36830] [SQL] Lesen und Schreiben von ANSI-Intervallen aus und in JSON-Datenquellen unterstützen
  • [SPARK-36870] [SQL] Fehlerklasse INTERNAL_ERROR einführen
  • [SPARK-36831] [SQL] Lesen und Schreiben von ANSI-Intervallen aus und in CSV-Datenquellen unterstützen
  • [SPARK-36550] [SQL] Ursache für Fehler bei der UDF-Reflexion ergänzen
  • [SPARK-36866] [SQL] Filter mit ANSI-Intervallwerten an Parquet pushen
  • [SPARK-33832] [SQL] Vereinfachung und Verbesserung von Skew-Join-Code erzwingen
  • [SPARK-36642] [SQL] df.withMetadata pyspark-API hinzufügen
  • [SPARK-35765] [SQL] Eindeutige Aggregate werden nicht vertraulich dupliziert
  • [SPARK-36825] [SQL] Lesen und Schreiben von Dataframes mit ANSI-Intervallen aus und in Parquet-Dateien
  • [SPARK-36829] [SQL] NULL-Überprüfung für collectionOperators umgestalten
  • [SPARK-32712] [SQL] Schreiben von Hive-Buckettabellen unterstützen (Hive-Dateiformate mit Hive-Hash)
  • [SPARK-36797] [SQL] Union sollte geschachtelte Spalten als Top-Level-Spalten auflösen
  • [SPARK-36838] [SQL] Leistung des von InSet generierten Codes verbessern
  • [SPARK-36683] [SQL] Neue integrierte SQL-Funktionen hinzufügen: SEC und CSC
  • [SPARK-36721] [SQL] Boolesche Gleichheitsformel vereinfachen, wenn eine Seite ein Literal ist
  • [SPARK-36760] [SQL] SupportsPushDownV2Filters-Schnittstelle hinzufügen
  • [SPARK-36652] [SQL] Dynamische Joinauswahl in AQE sollte nicht für nicht äquivalente Joins gelten
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys sollte die ursprünglichen Prädikate für Joinschlüssel zurückgeben
  • [SPARK-36107] [SQL] Für die ersten 20 Abfrageausführungsfehler sollten Fehlerklassen verwendet werden
  • [SPARK-32709] [SQL] Schreiben in Hive-Buckettabellen unterstützen (Parquet-/ORC-Format mit Hive-Hash)
  • [SPARK-36735] [SQL] Aufwand für die zwischengespeicherte Relation für DPP anpassen
  • [SPARK-33832] [SQL] Optimierte Skew Joins unterstützen, auch wenn zusätzliches Shuffling entsteht
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec sollte alle Bedingungen statt nur nicht äquivalenten Bedingungen berücksichtigen
  • [SPARK-35221] [SQL] Überprüfung für unterstützte Joinhinweise hinzufügen
  • [SPARK-36814] [SQL] ColumnarBatch-Klasse sollte erweiterbar sein
  • [SPARK-36663] [SQL] Nur aus Zahlen bestehende Spaltennamen in ORC-Datenquellen unterstützen
  • [SPARK-36751] [SQL][PYTHON][R] bit/octet_length-APIs zu Scala, Python und R hinzufügen
  • [SPARK-36733] [SQL] Leistungsproblem in SchemaPruning bei Strukturen mit vielen Feldern beheben
  • [SPARK-36724] [SQL] timestamp_ntz als Typ für die time-Spalte in SessionWindow unterstützen
  • [SPARK-36556] [SQL] DSV2-Filter hinzufügen
  • [SPARK-36687] [SQL][CORE] Fehlerklassen mit dem Suffix _ERROR umbenennen
  • [SPARK-35803] [SQL] DataSource V2 CreateTempViewUsing unterstützen
  • [SPARK-36642] [SQL] df.withMetadata hinzufügen, einen Syntax Sugar für die Aktualisierung der Metadaten eines Dataframes

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 10.1-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0,3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
Notebook 6.3.0 numpy 1.19.2 Packen 20.9
Pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 sechs 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 26.10.2021 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 Anmeldeinformationen 1.3.1
curl 4.3.2 data.table 1.14.2 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellipsis 0.3.2 Evaluieren 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 Grafiken 4.1.1 grDevices 4.1.1
grid 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 Lebenszyklus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrix 1.3-4
memoise 2.0.0 methods 4.1.1 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
Fortschritt 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2,10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0,4
withr 2.4.2 xfun 0,27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1