Databricks Runtime 4.1 (nicht unterstützt)

Dieses Image wurde von Databricks im Mai 2018 veröffentlicht.

Wichtig

Dieses Release ist am 17. Januar 2019 veraltet. Weitere Informationen zur Databricks Runtime-Veraltungsrichtlinie und zum Zeitplan finden Sie unter Supportlebenszyklus der Databricks Runtime.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 4.1 mit Unterstützung durch Apache Spark.

Delta Lake

In Databricks Runtime Version 4.1 werden wichtige Qualitätsverbesserungen und Funktionen für Delta Lake hinzugefügt. Databricks empfiehlt allen Delta Lake-Kunden dringend, ein Upgrade auf die neue Runtime durchzuführen. Dieses Release verbleibt in der privaten Vorschau, ist aber ein Releasekandidat in Vorbereitung auf die anstehende Allgemeinverfügbarkeitsversion (GA).

Delta Lake ist jetzt auch in der privaten Vorschauversion für Azure Databricks-Benutzer verfügbar. Wenden Sie sich an Ihren Konto-Manager, oder registrieren Sie sich unter https://databricks.com/product/databricks-delta.

Wichtige Änderungen

  • Databricks Runtime 4.1 enthält Änderungen am Transaktionsprotokoll, um neue Features wie die Validierung zu ermöglichen. Tabellen, die mit Databricks Runtime 4.1 erstellt wurden, verwenden automatisch die neue Version, und ältere Versionen von Databricks Runtime können nicht darin schreiben. Sie müssen vorhandene Tabellen aktualisieren, um diese Verbesserungen nutzen zu können. Um eine vorhandene Tabelle zu aktualisieren, aktualisieren Sie zunächst alle Aufträge, die in die Tabelle schreiben. Führen Sie anschließend Folgendes aus:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
    

    Weitere Informationen finden Sie unter Wie verwaltet Azure Databricks die Kompatibilität von Delta Lake-Features?.

  • Schreibvorgänge werden jetzt anhand des aktuellen Schemas der Tabelle überprüft, anstatt wie zuvor automatisch Spalten hinzuzufügen, die in der Zieltabelle fehlen. Um das vorherige Verhalten zu aktivieren, legen Sie die mergeSchema-Option auf true fest. Weitere Informationen finden Sie unter Delta Lake-Schemaüberprüfung.

  • Wenn Sie frühere Versionen von Databricks Delta ausführen, müssen Sie alle Aufträge aktualisieren, bevor Sie Databricks Runtime 4.1 verwenden. Wenn einer dieser Fehler angezeigt wird, führen Sie ein Upgrade auf Databricks Runtime 4.1 durch:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
    scala.MatchError
    
  • Tabellen dürfen keine Spalten mehr enthalten, die sich nur nach Groß-/Kleinschreibung unterscheiden.

  • Deltaspezifischen Tabellenkonfigurationen muss jetzt das Präfix delta. vorangestellt werden.

Neue Funktionen

  • Schemaverwaltung: Databricks Delta überprüft nun Anfügungen und Überschreibungen an eine vorhandene Tabelle, um sicherzustellen, dass das geschriebene Schema mit dem Schema übereinstimmt.

    • Databricks Delta unterstützt weiterhin die automatische Schemamigration.
    • Databricks Delta unterstützt jetzt die folgende DDL zum expliziten Ändern des Schemas:
      • ALTER TABLE ADD COLUMN zum Hinzufügen neuer Spalten zu einer Tabelle
      • ALTER TABLE CHANGE COLUMNS zum Ändern der Spaltenreihenfolge
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    Ausführliche Informationen finden Sie unter Delta Lake-Schemaüberprüfung.

  • Verbesserte DDL- und Tabellenunterstützung

    • Vollständige Unterstützung für Tabellen-DDL und saveAsTable(). save() und saveAsTable() verfügen nun über eine identische Semantik.
    • Alle DDL- und DML-Befehle unterstützen sowohl den Tabellennamen als auch delta.`<path-to-table>`.
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • Detaillierte Tabelleninformationen: Sie können die aktuellen Reader- und Writerversionen einer Tabelle anzeigen, indem Sie DESCRIBE DETAIL ausführen. Siehe Wie verwaltet Azure Databricks die Kompatibilität von Delta Lake-Features?.
    • Tabellendetails: Informationen zur Herkunft sind jetzt für jeden Schreibvorgang in eine Tabelle verfügbar. Auf der Seitenleiste „Daten“ werden auch detaillierte Tabelleninformationen und der Verlauf für Databricks Delta-Tabellen angezeigt. Weitere Informationen finden Sie unter Überprüfen der Details der Delta Lake-Tabelle mit Beschreibungsdetails.
    • Streamingtabellen: Streaming-DataFrames können mithilfe von spark.readStream.format("delta").table("<table-name>") erstellt werden.
    • Tabellen, an die nur angefügt werden kann: Databricks Delta unterstützt jetzt grundlegende Datengovernance. Sie können Löschungen und Änderungen in einer Tabelle blockieren, indem Sie die Tabelleneigenschaftdelta.appendOnly=true festlegen.
    • MERGE INTO Quelle: Erweitert die Unterstützung der Quellabfragespezifikation von MERGE. Beispielsweise können Sie LIMIT, ORDER BY und INLINE TABLE in der Quelle angeben.
    • Vollständige Unterstützung für Tabellen-ACLs.

Leistungsverbesserungen

  • Reduzierter Mehraufwand für die Sammlung von Statistiken: Die Effizienz der Statistiksammlung wurde verbessert, und Statistiken werden jetzt nur für eine konfigurierbare Anzahl von Spalten gesammelt, die standardmäßig auf 32 festgelegt ist. Die Schreibleistung von Databricks Delta wurde aufgrund der Reduzierung des Mehraufwands bei der Sammlung von Statistiken bis auf das Doppelte verbessert. Legen Sie die Tabelleneigenschaftdelta.dataSkippingNumIndexedCols=<number-of-columns> fest, um die Anzahl der Spalten zu konfigurieren.
  • Unterstützung für Limitpushdown: Statistiken werden verwendet, um die Anzahl der für Abfragen überprüften Dateien zu begrenzen, die ein LIMIT und Prädikate für Partitionsspalten aufweisen. Dies gilt aufgrund des wirksamen impliziten limit=1000 für alle Notebookbefehle für Abfragen in Notebooks.
  • Filterpushdown in der Streamingquelle: Streamingabfragen verwenden jetzt die Partitionierung, wenn ein neuer Stream gestartet wird, um irrelevante Daten zu überspringen.
  • Die verbesserte Parallelität für OPTIMIZE - OPTIMIZE wird jetzt als einzelne Spark-Aufgabe ausgeführt und verwendet sämtliche im Cluster verfügbare Parallelität (zuvor galt eine Beschränkung auf 100 komprimierte Dateien gleichzeitig).
  • Überspringen von Daten in DML: UPDATE, DELETEund MERGE verwenden jetzt Statistiken beim Suchen von Dateien, die neu geschrieben werden müssen.
  • Verringerte Prüfpunktaufbewahrung: Prüfpunkte werden jetzt zwei Tage lang aufbewahrt (der Verlauf wird weiterhin für 30 Tage aufbewahrt), um die Speicherkosten für das Transaktionsprotokoll zu senken.

API-Verhalten

  • Das Verhalten von insertInto(<table-name>) in Databricks Delta ist dasselbe wie bei anderen Datenquellen.
    • Wenn kein Modus angegeben oder modeErrorIfExists, Ignore oder Append ist, werden die Daten im DataFrame der Databricks Delta-Tabelle angefügt.
    • Wenn modeOverwrite ist, werden alle Daten in der vorhandenen Tabelle gelöscht und die Daten aus dem DataFrame in die Databricks Delta-Tabelle eingefügt.
  • Wenn die Zieltabelle von MERGE zwischengespeichert ist, muss ihre Zwischenspeicherung manuell aufgehoben werden.

Verbesserungen der Benutzerfreundlichkeit

  • Überprüfungen der Workloadmigration: Häufige Fehler bei der Migration von Workloads zu Databricks Delta lösen jetzt eine Ausnahme statt eines Ausfalls aus:
    • Verwenden von format("parquet") zum Lesen oder Schreiben einer Tabelle.
    • Direktes Lesen oder Schreiben in eine Partition (d. h. /path/to/delta/part=1).
    • Leeren von Unterverzeichnissen einer Tabelle.
    • INSERT OVERWRITE DIRECTORY mit Parquet für eine Tabelle.
  • Konfiguration ohne Berücksichtigung der Groß-/Kleinschreibung: Bei den Optionen für den DataFrame-Reader/Writer und Tabelleneigenschaften wird nun die Groß-/Kleinschreibung nicht beachtet (einschließlich Lese- und Schreibpfad).
  • Spaltennamen: Tabellenspaltennamen können jetzt Punkte enthalten.

Bekannte Probleme

  • Die Einfügungen von Mehrfacheinfügungs-Anweisungen befinden sich eher in unterschiedlichen Arbeitseinheiten als in derselben Transaktion.

Fehlerbehebungen

  • Das Auftreten einer Endlosschleife beim Starten eines neuen Streams für eine Tabelle mit schneller Aktualisierung wurde behoben.

Veraltete Funktionen

Strukturiertes Streaming verarbeitet keine Eingabe, die keine Anfügung ist, und löst eine Ausnahme aus, wenn Änderungen an der Tabelle vorgenommen werden, die als Quelle verwendet wird. Zuvor konnten Sie dieses Verhalten mithilfe des ignoreFileDeletion-Flags überschreiben, aber es ist jetzt veraltet. Verwenden Sie stattdessen ignoreDeletes oder ignoreChanges. Weitere Informationen finden Sie unter Delta-Tabelle als Quelle.

Weitere Änderungen und Verbesserungen

  • Query Watchdog ist für alle Allzweckcluster aktiviert, die über die Benutzeroberfläche erstellt wurden.
  • Verbesserte treiberseitige Leistung für den DBIO-Cache
  • Verbesserte Leistung für die Parquet-Decodierung über einen neuen nativen Parquet-Decoder
  • Verbesserte Leistung für häufige Teilausdruckslöschung
  • Verbesserte Leistung beim Überspringen von Daten für große Tabellen, die kleine Tabellen verknüpfen (Faktendimensionstabellen-Verknüpfungen)
  • display() rendert jetzt Spalten, die Bilddatentypen enthalten, als Rich HTML.
  • Verbesserungen für das Protokollieren, Laden, Registrieren und Bereitstellen von MLflow-Modellen
    • Upgrade von dbml-local auf das neueste Release 0.4.1
    • Fehler bei mit Angabe des threshold-Parameters exportierten Modellen behoben
    • Unterstützung für den Export von OneVsRestModel, GBTClassificationModel hinzugefügt
  • Einige installierte Python-Bibliotheken haben ein Upgrade erhalten:
    • pip: von 9.0.1 auf 10.0.0b2
    • setuptools: von 38.5.1 auf 39.0.1
    • tornado: von 4.5.3 auf 5.0.1
    • wheel: von 0.30.0 auf 0.31.0
  • Mehrere installierte R-Bibliotheken haben ein Upgrade erhalten. Weitere Informationen finden Sie unter Installierte R-Bibliotheken.
  • Azure Data Lake Store SDK wurde von 2.0.11 auf 2.2.8 aktualisiert.
  • CUDA wurde von 8.0 auf 9.0 und CUDNN von 6.0 für GPU-Cluster auf 7.0 aktualisiert.

Apache Spark

Databricks Runtime 4.1 enthält Apache Spark 2.3.0. Dieses Release enthält alle Fixes und Verbesserungen, die in Databricks Runtime 4.0 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:

  • [SPARK-24007][SQL] EqualNullSafe für FloatType und DoubleType generiert möglicherweise ein falsches Ergebnis durch Codegen.
  • [SPARK-23942][PYTHON][SQL] Führt Sammeln in PySpark als Aktion für einen Abfrage-Executor-Listener aus
  • [SPARK-23815][CORE] Der Überschreibungsmodus für dynamische Spark-Writer-Partitionen kann möglicherweise keine Ausgabe auf Partitionen mit mehreren Ebenen schreiben
  • [SPARK-23748][SS] Behebung des Problems, dass kontinuierlicher SS-Prozess keinen SubqueryAlias unterstützt
  • [SPARK-23963][SQL] Ordnungsgemäße Verarbeitung einer großen Anzahl von Spalten in Abfragen für textbasierte Hive-Tabellen
  • [SPARK-23867][SCHEDULER] Verwendung von droppedCount in logWarning
  • SPARK-23816[CORE] Beendete Tasks sollten FetchFailures ignorieren.
  • SPARK-23809[SQL] Aktive SparkSession sollte über getOrCreate festgelegt werden
  • [SPARK-23966][SS] Umgestaltung aller Prüfpunktdatei-Schreiblogik in einer gemeinsamen CheckpointFileManager-Schnittstelle
  • [SPARK-21351][SQL] Aktualisieren der NULL-Zulässigkeit basierend auf der Ausgabe untergeordneter Elemente
  • [SPARK-23847][PYTHON][SQL] Hinzufügen von asc_nulls_first, asc_nulls_last zu PySpark
  • SPARK-23822[SQL] Verbesserung der Fehlermeldung für Konflikte mit dem Parquet-Schema
  • SPARK-23823[SQL] Beibehalten des Ursprungs in transformExpression
  • SPARK-23838[WEBUI] Ausführung von SQL-Abfragen wird auf der SQL-Registerkarte als „Abgeschlossen“ angezeigt
  • SPARK-23802[SQL] PropagateEmptyRelation kann Abfrageplan in unvollendetem Zustand hinterlassen
  • [SPARK-23727][SQL] Unterstützung für Filterpushdown für DateType in Parquet
  • [SPARK-23574][SQL] SinglePartition-Meldung in DataSourceV2ScanExec, wenn exakt 1 Datenleserfactory vorhanden ist.
  • [SPARK-23533][SS] Hinzufügen der Unterstützung für das Ändern von startOffset von ContinuousDataReader
  • [SPARK-23491][SS] Entfernen des expliziten Auftragsabbruchs aus ContinuousExecution-Neukonfiguration
  • SPARK-23040[CORE] Gibt nicht unterbrechbare Iteratoren für den Shuffle-Reader zurück
  • SPARK-23827[SS] StreamingJoinExec sollte sicherstellen, dass Eingabedaten in eine spezifische Anzahl von Partitionen partitioniert werden
  • SPARK-23639[SQL] Abrufen des Tokens bevor Metastore-Client in der SparkSQL-CLI initialisiert wird
  • SPARK-23806 Broadcast.unpersist kann schwerwiegende Ausnahmefehler verursachen bei Verwendung...
  • SPARK-23599[SQL] Verwendung von RandomUUIDGenerator in UUID-Ausdrücken
  • SPARK-23599[SQL] Hinzufügen eines UUID-Generators aus Pseudo-Zufallszahlen
  • SPARK-23759[UI] Spark-Benutzeroberfläche kann nicht an einen bestimmten Hostnamen oder eine IP gebunden werden
  • SPARK-23769[CORE] Entfernung von Kommentaren, die Scalastyle unnötigerweise deaktivieren
  • SPARK-23614[SQL] Behebung des falschen Wiederverwendungsaustauschs bei Verwendung der Zwischenspeicherung
  • SPARK-23760[SQL] CodegenContext.withSubExprEliminationExprs sollte den CSE-Zustand ordnungsgemäß speichern/wiederherstellen
  • SPARK-23729[CORE] Beachtung von URI-Fragmenten beim Auflösen von globs
  • [SPARK-23550][CORE] Bereinigen von Utils
  • SPARK-23288[SS] Fehlerbehebung für Ausgabemetriken mit Parquet-Senke
  • SPARK-23264[SQL] Fehlerbehebung von scala.MatchError in literals.sql.out
  • SPARK-23649[SQL] Überspringen von Zeichen, die in UTF-8 nicht zulässig sind
  • SPARK-23691[PYTHON] Verwendung von sql_conf-Hilfsprogramm in PySpark-Tests, wenn möglich
  • SPARK-23644[CORE][UI] Verwendung eines absoluten Pfads für REST-Aufruf in SHS
  • SPARK-23706[PYTHON] spark.conf.get(value, default=None) sollte die Ausgabe „None“ in PySpark erzeugen
  • SPARK-23623[SS] Vermeiden der gleichzeitigen Verwendung zwischengespeicherter Consumer in CachedKafkaConsumer
  • SPARK-23670[SQL] Fehlerbehebung bei Arbeitsspeicherverlust auf SParkPlanGraphWrapper
  • SPARK-23608[CORE][WEBUI] Hinzufügen der Synchronisierung der Funktionen attachSparkUI und detachSparkUI in SHS, um das Problem gleichzeitiger Änderungen an Jetty-Handlern zu vermeiden
  • SPARK-23671[CORE] Behebung der Bedingung zum Aktivieren des SHS-Threadpools
  • SPARK-23658[LAUNCHER] InProcessAppHandle verwendet die falsche Klasse in getLogger
  • SPARK-23642[DOCS] Fehlerbehebung der Unterklasse isZero scaladoc von AccumulatorV2
  • SPARK-22915[MLLIB] Streamingtests für spark.ml.feature von N bis Z
  • SPARK-23598[SQL] Veröffentlichen von Methoden in BufferedRowIterator, um Runtimefehler für eine große Abfrage zu vermeiden
  • [SPARK-23546][SQL] Umgestalten zustandsloser Methoden/Werte in CodegenContext
  • [SPARK-23523][SQL] Korrigieren des fehlerhaften Ergebnisses aufgrund der Regel OptimizeMetadataOnlyQuery
  • [SPARK-23462][SQL] Verbesserung der Fehlermeldung für fehlende Felder in StructType
  • [SPARK-23624][SQL] Überarbeitung der Methode pushFilters in Datasource V2
  • SPARK-23173[SQL] Vermeiden der Erstellung fehlerhafter Parquet-Dateien beim Laden von Daten aus JSON
  • SPARK-23436[SQL] Partition nur als Datum ableiten, wenn sie in Datum umgewandelt werden kann
  • [SPARK-23406][SS] Aktivieren von Stream-Stream-Selbstjoins
  • SPARK-23490[SQL] Überprüfung von storage.locationUri mit vorhandener Tabelle in CreateTable
  • SPARK-23524 Große lokale Shuffle-Blöcke sollten nicht auf Fehler überprüft werden.
  • SPARK-23525[SQL] Unterstützung von ALTER TABLE CHANGE COLUMN COMMENT für externe Hive-Tabelle
  • SPARK-23434[SQL] Spark sollte das Metadatenverzeichnis nicht für einen HDFS-Dateipfad warnen
  • SPARK-23457[SQL] Listener für Abschluss von Tasks zuerst in ParquetFileFormat registrieren
  • SPARK-23329[SQL] Fehlerbehebung bei der Dokumentation von trigonometrischen Funktionen
  • SPARK-23569[PYTHON] Zulassen der Zusammenarbeit von pandas_udf mit python3-artigen Funktionen mit kommentierten Typen
  • SPARK-23570[SQL] Hinzufügen von Spark 2.3.0 in HiveExternalCatalogVersionsSuite
  • [SPARK-23517][PYTHON] Dafür sorgen, dass _pyspark.util.exception_message die Ablaufverfolgung von Java durch Py4JJavaError durchführt
  • [SPARK-23508][CORE] Korrigieren von BlockmanagerId, falls blockManagerIdCache Arbeitsspeichermangel verursacht
  • [SPARK-23448][SQL] Verdeutlichen des JSON- und CSV-Parserverhaltens im Dokument
  • [SPARK-23365][CORE] Num-Executors beim Beenden von Executors im Leerlauf nicht anpassen.
  • [SPARK-23438][DSTREAMS] Korrektur von DStreams-Datenverlust mit WAL, wenn der Treiber abstürzt
  • [SPARK-23475][UI] Auch übersprungene Phasen anzeigen
  • [SPARK-23518][SQL] Metastore-Zugriff vermeiden, wenn die Benutzer nur Datenrahmen lesen und schreiben möchten
  • [SPARK-23406][SS] Aktivieren von Stream-Stream-Selbstjoins
  • [SPARK-23541][SS] Zulassen, dass die Kafka-Quelle Daten mit einer Parallelität liest, die die Anzahl der Artikelpartitionen überschreitet
  • [SPARK-23097][SQL][SS] Migrieren der Textsocketquelle zu V2
  • [SPARK-23362][SS] Migrieren der Kafka Microbatch-Quelle zu V2
  • [SPARK-23445] ColumnStat-Refactoring
  • [SPARK-23092][SQL] Migrieren von MemoryStream zu DataSourceV2-APIs
  • [SPARK-23447][SQL] Bereinigen der Codegen-Vorlage für das Literal
  • [SPARK-23366] Verbessern des heißen Lesepfads in ReadAheadInputStream
  • [SPARK-22624][PYSPARK] Verfügbarmachen des Bereichspartitionierungs-Shuffles

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 4.1-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 für Python 2-Cluster und 3.5.2 für Python 3-Cluster.
  • R: R-Version 3.4.4 (2018-03-15)
  • GPU-Cluster: Die folgenden NVIDIA-GPU-Bibliotheken sind installiert:
    • Tesla-Treiber 375.66
    • CUDA 9.0
    • cuDNN 7.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.0b2 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
Python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 sechs 1.10.0 statsmodels 0.6.1
tornado 5.0.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.0
wsgiref 0.1.2

Installierte R-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 Blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 Auto 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1,0 - 8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-69
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
Grafiken 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-49 Matrix 1.2-13 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-23
mime 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.0 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.41-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics Datenstrom 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Sammlung 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52