Databricks Runtime 8.0 (nicht unterstützt)

  • Artikel

Dieses Image wurde von Databricks im März 2021 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 8.0, unterstützt von Apache Spark 3.1.1.

Neue Funktionen

Databricks Runtime 8.0 enthält Apache Spark 3.1.1. Weitere Informationen finden Sie unter Apache Spark.

Verbesserungen

Delta ist jetzt das Standardformat, wenn kein Format angegeben ist.

Databricks Runtime 8.0 ändert das Standardformat in delta, um das Erstellen einer Delta-Tabelle zu vereinfachen. Wenn Sie eine Tabelle mit SQL-Befehlen oder {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream}-APIs erstellen und kein Format angeben ist, lautet das Standardformat delta.

Mit Delta Lake erhalten Sie eine bessere Leistung in Parquet, eine verbesserte Datenzuverlässigkeit mit umfassender Schemavalidierung, Qualitätseinschränkungen und Transaktionsgarantien. Mit Delta Lake können Sie Ihre Datenpipelines mit einheitlichem strukturiertem Streaming und einheitlicher Batchverarbeitung für eine einzelne Datenquelle vereinfachen.

Während Databricks die Verwendung von Delta Lake zum Speichern Ihrer Daten empfiehlt, verfügen Sie möglicherweise über Legacyworkflows, die eine Migration zu Delta Lake erfordern. Informationen zum Migrieren vorhandener Workflows finden Sie unter Was ist Delta Lake?.

Kostenreduzierung durch neues Standardtriggerintervall für strukturiertes Streaming

Wenn Sie in Ihrer Streamingabfrage kein Triggerintervall mit Trigger.ProcessingTime festlegen, wird das Intervall auf 500 ms festgelegt. Zuvor war das Standardintervall 0 ms. Diese Änderung sollte die Anzahl leerer Trigger reduzieren und die Kosten für Cloudspeicher senken, z. B. die Auflistung.

Verwenden der LDA-Transformationsfunktion mit Passthrough für Anmeldeinformationen (Public Preview)

Sie können jetzt die LDA-Transformationsfunktion in einem Cluster verwenden, der für die Verwendung des Passthroughs von Anmeldeinformationen für die Authentifizierung konfiguriert ist.

Einzelbenutzercluster, die mit Passthrough für Anmeldeinformationen konfiguriert sind, erfordern keine vertrauenswürdigen Dateisysteme mehr (Public Preview)

Sie müssen lokale Dateisysteme nicht mehr als vertrauenswürdige Dateisysteme konfigurieren, wenn Sie einen Standard- oder Auftragscluster verwenden, der für die Passthrough für Anmeldeinformationen mit einem einzelnen Benutzer konfiguriert ist. Durch diese Änderung werden unnötige Dateisystemeinschränkungen beim Ausführen von Aufträgen in einem Cluster mit einem einzelnen Benutzer entfernt.

Bibliotheksupgrades

Apache Spark

Databricks Runtime 8.0 enthält Apache Spark 3.1.1.

Inhalt dieses Abschnitts:

Core und Spark SQL

Highlight

Verbesserungen bei der ANSI SQL-Kompatibilität

  • Unterstützung des Datentyps char/varchar (SPARK-33480)
  • ANSI-Modus: Laufzeitfehler anstatt Rückgabe von NULL (SPARK-33275)
  • ANSI-Modus: Neue explizite Umwandlungssyntaxregeln (SPARK-33354)
  • Hinzufügen des SQL-Standardbefehls SET TIME ZONE (SPARK-32272)
  • Vereinheitlichung der SQL-Syntax für „create table“ (SPARK-31257)
  • Vereinheitlichen des Verhaltens der temporären Ansicht und der permanenten Ansicht (SPARK-33138)
  • Unterstützung der Spaltenliste in der INSERT-Anweisung (SPARK-32976)
  • Unterstützung geschachtelter ANSI-Kommentare in Klammern (SPARK-28880)

Leistungsverbesserungen

  • Lesen von hostlokalen Zufallswiedergabedaten ohne Shuffledienst (SPARK-32077)
  • Entfernen redundanter Sortierungen vor der Neupartitionierung von Knoten (SPARK-32276)
  • Prädikate teilweise nach unten pushen (SPARK-32302, SPARK-32352)
  • Pushdown von Filtern durch Erweitern (SPARK-33302)
  • Pushen weiterer möglicher Prädikate durch Join per CNF-Konvertierung (SPARK-31705)
  • Entfernen von Shuffle durch Beibehalten der Ausgabepartitionierung des Übertragungshashjoin (SPARK-31869)
  • Entfernen von Shuffle durch verbesserte Neuanordnung von Joinschlüsseln (SPARK-32282)
  • Entfernen von Shuffle durch Normalisieren der Ausgabepartitionierung und Sortierreihenfolge (SPARK-33399)
  • Verbesserung des gemischten Hashjoin (SPARK-32461)
    • Beibehalten der partitionierten Buildpartitionierung mit gemischtem Hashjoin (SPARK-32330)
    • Beibehalten der streamseitigen Reihenfolge von Hashjoins (JSJ und SHJ) (SPARK-32383)
    • Zusammenfügen von Buckettabellen für Sort-Merge-Joins (sortieren, zusammenfügen) (SPARK-32286)
    • Hinzufügen von code-gen für gemischten Hashjoin (SPARK-32421)
    • Unterstützung des vollständigen äußeren Joins im gemischten Hashjoin (SPARK-32399)
  • Unterstützung der Löschung von Teilausdrücken im Projekt mit Whole-Stage CodeGen (SPARK-33092)
  • Unterstützen der Löschung von Teilausdrücken in bedingten Ausdrücken (SPARK-33337)
  • Unterstützung der Löschung von Teilausdrücken für die Auswertung interpretierter Ausdrücke (SPARK-33427)
  • Unterstützung der Teilausdruckslöschung für interpretiertes Prädikat (SPARK-33540)
  • Andere Optimiererregeln
    • Regel ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regel EliminateNullAwareAntiJoin (SPARK-32573)
    • Regel EliminateAggregateFilter (SPARK-32540)
    • Regel UnwrapCastInBinaryComparison (SPARK-32858)
    • Regel DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regel CoalesceBucketsInJoin (SPARK-31350)
    • Löschen unnötiger geschachtelter Felder aus dem Generieren ohne Projekt (SPARK-29721)
    • Löschen unnötiger geschachtelter Felder aus dem Aggregieren und Erweitern (SPARK-27217)
    • Löschen unnötiger geschachtelter Felder aus „repartition-by-expression“ und dem Join (SPARK-31736)
    • Löschen unnötiger geschachtelter Felder gegenüber optischer Varianten (SPARK-32163)
    • Löschen unnötiger geschachtelter Felder aus Fenstern und der Sortierung (SPARK-32059)
    • Optimieren der Größe von CreateArray/CreateMap auf die Größe der untergeordneten Elemente (SPARK-33544).

Erweiterungen für die Erweiterbarkeit

  • Hinzufügen von SupportsPartitions-APIs in DataSourceV2 (SPARK-31694)
  • Hinzufügen von SupportsMetadataColumns-APIs in DataSourceV2 (SPARK-31255)
  • SQL-Cacheserialisierung austauschbar machen (SPARK-32274)
  • Einführung der purge-Option in TableCatalog.dropTable für den v2-Katalog (SPARK-33364)

Connectorerweiterungen

  • Verbesserung des Pushdowns von Hive-Metastore-Partitionsfiltern (SPARK-33537)
    • Unterstützung enthält die Filter „starts-with“ und „ends-with“ (SPARK-33458)
    • Unterstützung von Filtern nach Datumstyp (SPARK-33477)
    • Unterstützung von Filtern nach „not-equals“ (SPARK-33582)
  • Parquet
    • Zulassen eines komplexen Typs im Schlüsseltyp der Karte in Parquet (SPARK-32639)
    • Speichern und Laden von INT96 in Parquet ohne Rebase zulassen (SPARK-33160)
  • ORC
    • Pushdown für geschachtelte Spaltenprädikate für ORC (SPARK-25557)
    • Upgrade von Apache ORC auf 1.5.12 (SPARK-33050)
  • CSV
    • Nutzen der SQL-Textdatenquelle während des CSV-Schemarückschlusses (SPARK-32270)
  • JSON
    • Unterstützung für Filterpushdown in JSON-Datenquelle (SPARK-30648)
  • JDBC
  • Avro
    • Unterstützung für Filterpushdown in Avro-Datenquelle (SPARK-32346)

Featureverbesserungen

  • Außerbetriebnahme von Knoten (SPARK-20624)
    • Basic-Framework (SPARK-20628)
    • Migrieren von RDD-Blöcken während der Außerbetriebnahme (SPARK-20732)
    • Ordnungsgemäße Außerbetriebnahme als Teil der dynamischen Skalierung (SPARK-31198)
    • Migrieren von Shuffleblöcken während der Außerbetriebnahme (SPARK-20629)
    • Executor nur beenden, wenn Tasks und Blockmigration beendet sind (SPARK-31197)
    • Unterstützung von Fallbackspeicher während der Außerbetriebnahme (SPARK-33545)
  • Neue integrierte Funktionen
  • EXPLAIN-Befehlserweiterung (SPARK-32337, SPARK-31325)
  • Bereitstellen einer Option zum Deaktivieren von vom Benutzer bereitgestellten Hinweisen (SPARK-31875)
  • Unterstützung der REPLACE COLUMNS-Syntax im Hive-Stil (SPARK-30613)
  • Unterstützung der Operatoren LIKE ANY und LIKE ALL (SPARK-30724)
  • Unterstützung für MATCHED und NOT MATCHED (unbegrenzt) in MERGE INTO (SPARK-32030)
  • Unterstützung von Float-Literalen mit dem Suffix F (SPARK-32207)
  • Unterstützung der RESET-Syntax zum Zurücksetzen einer einzelnen Konfiguration (SPARK-32406)
  • Unterstützung des Filterausdrucks ermöglicht die gleichzeitige Verwendung von DISTINCT (SPARK-30276)
  • Unterstützung des Befehls „alter table add/drop partition“ für DSv2 (SPARK-32512)
  • Unterstützen von NOT IN-Unterabfragen in geschachtelten OR-Bedingungen (SPARK-25154)
  • Unterstützen des REFRESH FUNCTION-Befehls (SPARK-31999)
  • Hinzufügen von sameSemantics- und sementicHash-Methoden in Datasets (SPARK-30791)
  • Unterstützung des zusammengesetzten Typs der Case-Klasse in UDF (SPARK-31826)
  • Unterstützung der Enumeration in Encodern (SPARK-32585)
  • Unterstützung der geschachtelter Feld-APIs withField und dropFields (SPARK-31317, SPARK-32511)
  • Unterstützung zum Ausfüllen von NULL-Werte für fehlende Spalten in unionByName (SPARK-29358)
  • Unterstützung von DataFrameReader.table für die Aufnahme der angegebenen Optionen (SPARK-32592, SPARK-32844)
  • Unterstützung des HDFS-Speicherorts in spark.sql.hive.metastore.jars (SPARK-32852)
  • Native Unterstützung der --archives-Option (SPARK-33530, SPARK-33615)
  • Erweitern der ExecutorPlugin-API zum Einschließen von Methoden für den Tasks zum Starten und Beenden von Ereignissen (SPARK-33088)

Weitere wichtige Änderungen

  • Bereitstellen einer Suchfunktion auf der Spark-Dokumentationswebsite (SPARK-33166)
  • Upgrade von Apache Arrow auf 2.0.0 (SPARK-33213)
  • Aktivieren der Java 8-Zeit-API auf dem Thrift-Server (SPARK-31910)
  • Aktivieren der Java 8-Zeit-API in UDFs (SPARK-32154)
  • Überlaufüberprüfung für aggregierte Summe mit Dezimalzahlen (SPARK-28067)
  • Korrektur eines Commitkonflikts im Modus für das Überschreiben dynamischer Partitionen (SPARK-27194, SPARK-29302)
  • Verweise auf Slave, Blacklist und Whitelist entfernt (SPARK-32004, SPARK-32036, SPARK-32037)
  • Entfernen der Überprüfung der Taskergebnisgröße für die Shufflezuordnungsphase (SPARK-32470)
  • Generalisieren von ExecutorSource, um benutzerdefinierte Dateisystemschemas verfügbar zu machen (SPARK-33476)
  • Hinzufügen von StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Verfügbar machen von Executor-Arbeitsspeichermetriken auf der Webbenutzeroberfläche für Executors (SPARK-23432)
  • Verfügbar machen von Executor-Arbeitsspeichermetriken auf Stufenebene auf der Registerkarte „Stufen“ (SPARK-26341)
  • Explizites Beheben von spark.ui.port im YARN-Clustermodus (SPARK-29465)
  • Hinzufügen einer spark.submit.waitForCompletion-Konfiguration zum Steuern der spark-submit-Beendung im eigenständigen Clustermodus (SPARK-31486)
  • Einrichten von yarn.Client zum Drucken direkter Links zum Treiber stdout/stderr (SPARK-33185)
  • Beheben von Arbeitsspeicherverlusten, wenn Broadcastteile nicht gespeichert werden (SPARK-32715)
  • Konfigurierbar machen des Heartbeatimeouts des BlockManagerMaster-Treibers (SPARK-34278)
  • Vereinheitlichen und Abschließen von Cacheverhalten (SPARK-33507)

Verhaltensänderungen

Sehen Sie sich die Migrationsleitfäden für jede Komponente an: Spark Core und Spark SQL.

PySpark

Project Zen

  • Project Zen: Verbessern der Benutzerfreundlichkeit von Python(SPARK-32082)
  • Unterstützung von PySpark-Typhinweisen (SPARK-32681)
  • Umgestalten der PySpark-Dokumentation (SPARK-31851)
  • Migrieren zum NumPy-Dokumentationsstil (SPARK-32085)
  • Installationsoption für PyPI-Benutzer (SPARK-32017)
  • Rückgängig machen der Veraltung der Ableitung des DataFrame-Schemas aus der Liste des Wörterbuchs (SPARK-32686)
  • Vereinfachen der Ausnahmemeldung von Python-UDFs (SPARK-33407)

Weitere wichtige Änderungen

  • Deduplizieren deterministischer PythonUDF-Aufrufe (SPARK-33303)
  • Unterstützen von Funktionen höherer Ordnung in PySpark-Funktionen (SPARK-30681)
  • Unterstützung von v2x-Schreib-APIs der Datenquelle (SPARK-29157)
  • Unterstützung von percentile_approx in PySpark-Funktionen (SPARK-30569)
  • Unterstützung von inputFiles in PySpark DataFrame (SPARK-31763)
  • Unterstützung von withField in PySpark-Spalten (SPARK-32835)
  • Unterstützung von dropFields in PySpark-Spalten (SPARK-32511)
  • Unterstützung von nth_value in PySpark-Funktionen (SPARK-33020)
  • Unterstützung für acosh, asinh und atanh (SPARK-33563)
  • Unterstützung der getCheckpointDir-Methode in PySpark SparkContext (SPARK-33017)
  • Unterstützung zum Ausfüllen von NULL-Werten für fehlende Spalten in unionByName (SPARK-32798)
  • Aktualisieren von cloudpickle auf v1.5.0 (SPARK-32094)
  • Hinzufügen der MapType-Unterstützung für PySpark mit Arrow (SPARK-24554)
  • DataStreamReader.table und DataStreamWriter.toTable (SPARK-33836)

Verhaltensänderungen

Weitere Informationen finden Sie in den Migrationsleitfäden für [PySpark]https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html).

Strukturiertes Streaming

Leistungsverbesserungen

  • Zwischenspeichern der abgerufenen Liste von Dateien außerhalb von maxFilesPerTrigger als ungelesene Datei (SPARK-30866)
  • Optimieren der Logik für die Dateidatenstromquelle und das Senkenmetadatenprotokoll (SPARK-30462)
  • Vermeiden des doppelte Lesens von kompakten Metadatenprotokollen, wenn die Abfrage aus einem kompakten Batch neu gestartet wird (SPARK-30900)

Featureverbesserungen

  • Hinzufügen der DataStreamReader.table-API (SPARK-32885)
  • Hinzufügen der DataStreamWriter.toTable-API (SPARK-32896)
  • Linker „stream-stream“-Semi-Join (SPARK-32862)
  • Vollständiger äußerer „stream-stream“-Join (SPARK-32863)
  • Bereitstellen einer neuen Option für die Aufbewahrung von Ausgabedateien (SPARK-27188)
  • Hinzufügen der Unterstützung für den strukturierten Streamverlauf für Spark (SPARK-31953)
  • Einführung der Zustandsschemaüberprüfung beim Neustart von Abfragen (SPARK-27237)

Weitere wichtige Änderungen

  • Einführung der Schemavalidierung zum Streamen des Zustandspeichers (SPARK-31894)
  • Unterstützung für die Verwendung eines anderen Komprimierungscodecs im Zustandsspeicher (SPARK-33263)
  • Unbegrenzte Wartezeit für Kafka-Connector, da Metadaten nie aktualisiert wurden (SPARK-28367)
  • Upgrade von Kafka auf 2.6.0 (SPARK-32568)
  • Paginierungsunterstützung für Seiten der Benutzeroberfläche für strukturiertes Streaming (SPARK-31642, SPARK-30119)
  • Zustandsinformationen auf der Benutzeroberfläche für strukturiertes Streaming (SPARK-33223)
  • Informationen zur Wasserzeichenlücke auf der Benutzeroberfläche für strukturiertes Streaming (SPARK-33224)
  • Verfügbarmachen von Informationen zu benutzerdefinierten Zustandsmetriken auf der SS-Benutzeroberfläche (SPARK-33287)
  • Hinzufügen einer neuen Metrik zur Anzahl von Zeilen nach dem Wasserzeichen (SPARK-24634)

Verhaltensänderungen

Weitere Informationen finden Sie in den Migrationsleitfäden für strukturiertes Streaming.

MLlib

Highlights

  • LinearSVC blockiert Eingabevektoren (SPARK-30642)
  • LogisticRegression blockiert Eingabevektoren (SPARK-30659)
  • LinearRegression blockiert Eingabevektoren (SPARK-30660)
  • AFT blockiert Eingabevektoren (SPARK-31656)
  • Hinzufügen von Unterstützung für Zuordnungsregeln in ML (SPARK-19939)
  • Hinzufügen einer Trainingszusammenfassung für LinearSVCModel (SPARK-20249)
  • Hinzufügen einer Zusammenfassung zu RandomForestClassificationModel (SPARK-23631)
  • Hinzufügen einer Trainingszusammenfassung zu FMClassificationModel (SPARK-32140)
  • Hinzufügen einer Zusammenfassung zu MultilayerPerceptronClassificationModel (SPARK-32449)
  • Hinzufügen von FMClassifier zu SparkR (SPARK-30820)
  • Hinzufügen des SparkR LinearRegression-Wrappers (SPARK-30818)
  • Hinzufügen des FMRegressor-Wrappers zu SparkR (SPARK-30819)
  • Hinzufügen des SparkR-Wrappers für vector_to_array (SPARK-33040)
  • Adaptive Blockierung von Instanzen – LinearSVC (SPARK-32907)
  • CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer soll den Back-End-Schätzer bzw. die Back-End-Auswertung von Python unterstützen (SPARK-33520)
  • Verbessern der Leistung von ML ALS recommendForAll von GEMV (SPARK-33518)
  • Hinzufügen von UnivariateFeatureSelector (SPARK-34080)

Andere wichtige Änderungen

  • GMM-Computezusammenfassung und -Updateverteilungen in einem Auftrag (SPARK-31032)
  • Entfernen der ChiSqSelector-Abhängigkeit auf mllib.ChiSqSelectorModel (SPARK-31077)
  • Vereinfachen des Ergebnisdatenrahmens von Tests in testChiSquare (SPARK-31301)
  • MinHash keyDistance-Optimierung (SPARK-31436)
  • KMeans-Optimierung basierend auf der Dreiecksungleichheit (SPARK-31007)
  • Hinzufügen der Gewichtungsunterstützung in ClusteringEvaluator (SPARK-31734)
  • Hinzufügen von getMetrics in Evaluators (SPARK-31768)
  • Hinzufügen der Unterstützung der Instanzgewichtung in LinearRegressionSummary (SPARK-31944)
  • Hinzufügen einer benutzerdefinierten Foldspalte zu CrossValidator (SPARK-31777)
  • Parität des ML-Parameterstandardwerts bei Features und der Optimierung (SPARK-32310)
  • Korrektur der doppelten Zwischenspeicherung in KMeans/BiKMeans (SPARK-32676)
  • AFT-Transformationsoptimierung (SPARK-33111)
  • FeatureHasher-Transformationsoptimierung (SPARK-32974)
  • Hinzufügen der array_to_vector-Funktion für die Datenrahmenspalte (SPARK-33556)
  • Parität des ML-Parameterstandardwerts in der Klassifizierung, Regression, dem lustering und FPM (SPARK-32310)
  • „Summary.totalIterations“ ist größer als „maxIters“ (SPARK-31925)
  • Optimierung der Vorhersage von Strukturmodellen (SPARK-32298)

Verhaltensänderungen

Weitere Informationen finden Sie in den Migrationsleitfäden für MLlib.

SparkR

  • Hinzufügen einer SparkR-Schnittstelle für Funktionen höherer Ordnung (SPARK-30682)
  • Unterstützung zum Ausfüllen von NULL-Werten für fehlende Spalten in unionByName (SPARK-32798)
  • Unterstützung von withColumn in SparkR-Funktionen (SPARK-32946)
  • Unterstützung von timestamp_seconds in SparkR-Funktionen (SPARK-32949)
  • Unterstützung von nth_value in SparkR-Funktionen (SPARK-33030)
  • Aktualisierung der Arrow-Mindestversion auf 1.0.0 (SPARK-32452)
  • Unterstützung von array_to_vector in SparkR-Funktionen (SPARK-33622)
  • Unterstützung für acosh, asinh und atanh (SPARK-33563)
  • Unterstützung von from_avro und to_avro (SPARK-33304)

Verhaltensänderungen

Weitere Informationen finden Sie in den Migrationsleitfäden für SparkR (R in Spark).

GraphX

Programmierleitfaden: GraphX-Programmierleitfaden.

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 8.0-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (Build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (aktualisiert von 3.8.6 im Wartungsupdate vom 26. Mai 2021)
  • R: R-Version 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
cryptography 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0,3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
Pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
Python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requests 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
sechs 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 2.11.2020 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 Blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 Anmeldeinformationen 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 Evaluieren 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 Grafiken 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 Lebenszyklus 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 Matrix 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Fortschritt 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52