Databricks Runtime 4.3 (EoS)
Hinweis
Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.
Diese Version wurde von Databricks im August 2018 veröffentlicht.
Wichtig
Dieses Release ist am 9. April 2019 veraltet. Weitere Informationen zur Databricks Runtime-Veraltungsrichtlinie und zum Zeitplan finden Sie unter Supportlebenszyklus von Databricks.
Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 4.3 mit Unterstützung durch Apache Spark.
Neue Funktionen
- Delta Lake
TRUNCATE TABLE-Befehl: Löschen aller Zeilen einer Tabelle. Im Gegensatz zur Entsprechung für Spark-Tabellen unterstützen Delta-Tabellen das Löschen bestimmter Partitionen nicht.ALTER TABLE REPLACE COLUMNS-Befehl: Spalten in einer Delta-Tabelle ersetzen. Es unterstützt das Ändern des Kommentars einer Spalte und das Neuordnen mehrerer Spalten.FSCK REPAIR TABLE-Befehl: Entfernen Sie die Dateieinträge aus dem Transaktionsprotokoll einer Delta-Tabelle, die im zugrunde liegenden Dateisystem nicht mehr zu finden ist. Dies kann passieren, wenn die betreffenden Dateien manuell gelöscht wurden.- Unterstützung für Abfragen für veraltete Delta-Tabellen zur Verbesserung der interaktiven Abfrageerfahrung: Abfragen für Delta-Tabellen können jetzt in einer veralteten Version der Tabelle ausgeführt werden, wenn keine aktuellen Ergebnisse erforderlich sind. Dieses Feature reduziert die Latenz von Abfragen, insbesondere wenn zugrunde liegende Delta-Tabellen kontinuierlich über Streams aktualisiert werden.
- Strukturiertes Streaming
- Skalierbare Streaming-Schreibunterstützung für Azure Synapse Analytics Connector.
- Unterstützung für
foreachBatch()in Python (bereits in Scala verfügbar). Weitere Informationen finden Sie unter Schreiben in beliebige Datensenken. - Unterstützung der Auswahl von Mindest- oder Maximalwerten, wenn in einer Abfrage mehrere Eingabestreams vorhanden sind. Zuvor wurde immer der minimale Zeitstempel verwendet. Weitere Informationen finden Sie in der Richtlinie für mehrere Wasserzeichen.
- Unterstützung für den Operator
LIMITfür Streams im AusgabemodusAppendundComplete. Um OOM-Fehler auf dem Treiber zu minimieren, wirdLIMITautomatisch angewendet, wenn Siedisplay()für ungebundene Datenströme verwenden.
Verbesserungen
Delta Lake
- Private Vorschau der neuen skalierbaren Implementierung des Befehls
MERGE INTO, für den das Limit von 10.000 Zeileneinfügungen nicht gilt. Wenden Sie sich an den Support, wenn Sie dies ausprobieren möchten. - Bessere Leistung und Skalierbarkeit des Befehls
OPTIMIZE, insbesondere bei größeren Clustern. - Der OPTIMIZE-Befehl wird nun inkrementell in die Tabelle ausgeführt, was bedeutet, dass bei einem Fehler des Befehls nicht das gesamte DataSet durch einen Wiederholungsversuch verarbeiten werden muss.
- Die Anzahl der Dateisystem-RPCs, die zum Entdecken neuer Daten erforderlich sind, wurde reduziert, wenn Delta Lake als Streamingquelle verwendet wird.
- Unterstützung für
df.writeStream.table(table-name)in Python zum Erstellen einer Delta-Tabelle aus einem Stream hinzugefügt.
- Private Vorschau der neuen skalierbaren Implementierung des Befehls
Verbesserte Leistung für Abfragen mit mehreren Joins, Aggregationen oder Fenstern.
Verbesserte Effizienz bei der Beschneidung auf Partitionsebene in Abfragen mit Broadcasthash-Joins.
Verbesserungen an der Codegenerierung in der gesamten Phase, um doppelte Ausdrücke zu erkennen, die Menge des generierten Codes zu reduzieren und die Leistung für bestimmte Ausdruckstypen zu verbessern.
Cluster mit hoher Parallelität unterstützen jetzt die Ausführung
%fsin Notebooks.Py4J wurde von PySpark auf 0.10.7 aktualisiert.
Verbesserte Leistung des Datenträgercaches auf Instanzen der Azure LS-Serie. Der Cache ist jetzt standardmäßig auf diesen Instanzen aktiviert, was Workloads beschleunigt, die Parquet-Dateien wiederholt lesen.
Veraltete Features
- Das Überspringen von Daten außerhalb von Databricks Delta ist veraltet. Eine erweiterte Version des Überspringens von Daten ist weiterhin als Teil von Delta Lake verfügbar. Es wird empfohlen, zur Verwendung von Delta Lake zu wechseln, um dieses Feature weiterhin nutzen zu können. Weitere Informationen finden Sie unter Überspringen von Databricks Delta-Daten.
Fehlerbehebungen
Falsche Prädikat-Pushdown-Anweisung
MERGE INTOfür Delta korrigiert, wenn die ON-Bedingung Prädikate hatte, die nur auf die Zieltabelle verwiesen haben.Ein Fehler in
mapGroupsWithStateundflatMapGroupsWithStatewurde behoben, der das Festlegen von Timeouts verhinderte, wenn der Zustand entfernt wurde (SPARK-22187).Fehler behoben, bei dem das verhinderte Wasserzeichen ordnungsgemäß mit
Trigger.Oncefunktioniert (SPARK-24699).Der Update-Befehl überprüft jetzt die Spalten in der SET-Klausel, um sicherzustellen, dass alle Spalten tatsächlich vorhanden sind und keine Spalte mehr als einmal festgelegt ist.
Es wurde eine potenzielle Racebedingung behoben, die Deadlocks für den Verzeichnis-Commit verursachen konnte.
Es wurde ein Fehler behoben, der dazu führt, dass beim Aktualisieren von Bereitstellungen eine veraltete Version des DBFS-Clients verwendet wurde.
Bekannte Probleme
- Delta Lake-Konfigurationsoptionen für eine Tabelle werden nur im ersten Notebook wirksam, das die Tabelle lädt.
Apache Spark
Databricks Runtime 4.3 enthält Apache Spark 2.3.1. Dieses Release enthält alle Fixes und Verbesserungen, die in Databricks Runtime 4.2 (EoS) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:
- [SPARK-24934][SQL] Explizit unterstützte Typen in den oberen/unteren Grenzen für die Speicherpartitionsbereinigung zulassen.
- Wenn komplexe Datentypen in Abfragefiltern für zwischengespeicherte Daten verwendet werden, gibt Spark immer ein leeres Resultset zurück. Die auf In-Memory-Statistiken basierende Bereinigung generiert falsche Ergebnisse, da NULL für obere/untere Grenzen für komplexe Typen festgelegt ist. Die Korrektur besteht darin, keine auf In-Memory-Statistiken basierende Bereinigung für komplexe Typen zu verwenden.
- [SPARK-24957][SQL] Durchschnitt mit Dezimalzahl gefolgt von Aggregation gibt falsches Ergebnis zurück
- Möglicherweise werden die falschen Ergebnisse von AVERAGE zurückgegeben. Die im Average-Operator hinzugefügte CAST wird umgangen, wenn das Ergebnis von Divide dem Typ entspricht, in den er umgerechnet wird.
- [SPARK-24867][SQL] Hinzufügen von AnalysisBarrier zu DataFrameWriter.
- SQL Cache wird nicht verwendet, wenn DataFrameWriter zum Schreiben eines DataFrames mit UDF verwendet wird. Dies ist eine Regression, die durch die Änderungen verursacht wird, die wir in AnalysisBarrier vorgenommen haben, da nicht alle Analyzer-Regeln idempotent sind.
- [SPARK-24790][SQL] Komplexe Aggregatausdrücke in Pivot zulassen
- Lockern Sie die Überprüfung, um komplexe Aggregatausdrücke wie ceil(sum(col1)) oder sum(col1) + 1 zu ermöglichen. Dies bedeutet ungefähr jeden Aggregatausdruck, der in einem Aggregatplan mit Ausnahme von pandas UDF angezeigt werden kann.
- [SPARK-24870][SQL] Cache kann nicht normal funktionieren, wenn groß geschriebene SQL
- Behebt ein Problem mit der Kanonisierung von Plänen.
- [SPARK-24852]Das spark.ml-Training sollte aktualisierte Instrumentierungs-APIs verwenden.
- [SPARK-24891][SQL] HandleNullInputsForUDF-Regel beheben
- Machen Sie die HandleNullInputsForUDF-Regel idempotent, um eine Fehlanpassung des Plans im Cache-Manager zu vermeiden, wenn ein Plan mehr als einmal analysiert wird.
- [SPARK-24878][SQL] Korrektur der Reversefunktion für den Arraytyp des primitiven Typs, der NULL enthält.
- [SPARK-24871][SQL] Umgestalten von Concat und MapConcat, um das Erstellen eines Verkettungsobjekts für jede Zeile zu vermeiden.
- [SPARK-24802][SQL] Hinzufügen einer neuen Konfiguration für den Ausschluss von Optimierungsregel
- Stellt Benutzern eine Konfiguration zum Ausschließen einiger Optimiererregeln zur Verfügung.
- [SPARK-24879][SQL] Behebt NPE in Hive Partitionsbereinigungsfilter-Pushdown
- Wenn das Partitionsprädikat etwa col IN (1, NULL) ist, wird ein NPE ausgelöst. Dieser Patch behebt es.
- [SPARK-23731][SQL] FileSourceScanExec kanonisierbar machen, nachdem es (de)serialisiert wurde
- [SPARK-24755][CORE] Ein Executorverlust kann dazu führen, dass die Aufgabe nicht erneut ausgegeben wird.
- Behebt einen Fehler, bei dem Spark Tasks, die durch einen Executorverlust nicht erneut übertragen wurden, möglicherweise nicht erneut übermittelt. Dieser Fehler wurde in Spark 2.3 eingeführt.
- [SPARK-24677][CORE] NoSuchElementException von MedianHeap vermeiden
- Behebt einen Fehler im Zusammenhang mit spekulativen Aufgaben beim Sammeln von Metriken zur Taskdauer.
- [SPARK-24868][PYTHON] Hinzufügen einer Sequenzfunktion in Python
- [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Typkoercionen und NULL-Fähigkeiten wurden behoben.
- [SPARK-24699][SS] Sorgen Sie dafür, dass Wasserzeichen mit Trigger.Once durch Speichern des aktualisierten Wasserzeichens zum Commitprotokoll funktionieren
- [SPARK-24537][R] Add array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-22187][SS] Aktualisieren des Dessaferow-Formats für gespeicherten Zustand in flatMapGroupsWithState, um Timeouts mit gelöschtem Zustand zu ermöglichen (4.x)
- [SPARK-24681][SQL] Überprüfen der Namen geschachtelter Spalten im Hive-Metastore
- Stellen Sie sicher, dass geschachtelte Spaltennamen ",", ":" und ";" nicht im Hive-Metastore enthalten.
- [SPARK-23486] Zwischenspeichern des Funktionsnamens aus dem externen Katalog für lookupFunctions
- Zum Beschleunigen der Funktionssuche.
- [SPARK-24781][SQL] Die Verwendung eines Verweises aus einem Dataset in Filter/Sort funktioniert möglicherweise nicht.
- [SPARK-24208][SQL] Korrigieren der Attributdeduplizierung für FlatMapGroupsInPandas
- Beheben eines Selbstverknüpfungsfehlers für ein Dataset, das flatMapGroupsInPandas aufgrund doppelter Attribute enthält
- [SPARK-24530][PYTHON] Hinzufügen eines Steuerelements zum Erzwingen der Python-Version inSure über die Umgebungsvariable, DELLPYTHON
- [SPARK-24250]Unterstützung für den Zugriff auf SQLConf in Tasks
- Speichern Sie alle SQL-Konfigurationen in Auftragseigenschaften, wenn eine SQL Ausführung ausgelöst wird. Auf der Executorseite erstellen wir sqlconf aus Auftragseigenschaften neu.
- [SPARK-23936][SQL] Implementieren von map_concat
- [SPARK-23914][SQL] Hinzufügen der array_join-Funktion
- [SPARK-24732][SQL] Typkoersion zwischen MapTypes.
- Fügt Unterstützung für die Typkoersion zwischen MapTypes hinzu, bei der sowohl die Schlüsseltypen als auch die Werttypen kompatibel sind. Beispielsweise können die Typen MapType(IntegerType, FloatType) und MapType(LongType, DoubleType) in den Typ MapType(LongType, DoubleType) gezeichnet werden.
- [SPARK-24662][SQL][SS] Supportlimit in strukturierten Streams
- [SPARK-24730][SS] Richtlinie hinzufügen, um max als globales Wasserzeichen auszuwählen, wenn die Streamingabfrage über mehrere Wasserzeichen verfügt (Branch-4.x)
- [SPARK-24596][SQL] Nicht kaskadierende Cacheinvalidierung
- Wenn Sie die temporäre Ansicht zwischenspeichern oder löschen, ist es nicht erforderlich, kaskadierend alle Pläne, die von der Ansicht abhängen, zwischenzuspeichern, da die zugrunde liegenden Daten nicht geändert werden.
- [SPARK-23927][SQL] Hinzufügen eines Sequenzausdrucks
- [SPARK-24636][SQL] Typkoersion von Arrays für array_join Funktion
- [SPARK-22384][SQL] Optimieren der Partitionsbereinigung, wenn das Attribut in Umwandlung umschlossen ist
- Verbessern Sie die Partitionsbereinigung, indem Sie Partitionsprädikate mit sicherem Typ cast(int to long, not long to int) per Push nach unten verschieben.
- [SPARK-24385][SQL] Auflösen der Mehrdeutigkeit der Selbstverknüpfungsbedingung für EqualNullSafe
- Implementiert EqualNullSafe für die Auflösung der Mehrdeutigkeit von Selbstverknüpfungen.
- [SPARK-24696][SQL] ColumnPruning-Regel entfernt zusätzliches Projekt nicht Project
- Behebt einen Fehler in der ColumnPruning-Regel, der einen Endlosschleifenfehler im Optimierer verursacht hat.
- [SPARK-24603][SQL] Behebt Referenz Fix findTightestCommonType in den Kommentaren
- [SPARK-24613][SQL] Cache mit UDF konnte nicht mit nachfolgenden abhängigen Caches übereinstimmen
- Umschließt den logischen Plan mit einem AnalysisBarrier für die Kompilierung des Ausführungsplans in CacheManager, um zu vermeiden, dass der Plan erneut analysiert wird. Dies ist auch eine Regression von Spark 2.3.
- [SPARK-24017][SQL] Umgestalten von ExternalCatalog als Schnittstelle
- [SPARK-24324][PYTHON] pandas-Grouped Map-UDF sollte Ergebnisspalten nach dem Namen zuweisen
- Weist Ergebnisspalten nach Schemaname zu, wenn der Benutzer mit Zeichenfolgen bezeichnet ist, andernfalls position.
- [SPARK-23778][CORE] Nicht benötigtes Shuffle vermeiden, wenn union ein leeres RDD erhält
- Ignoriert eingehende leere RDDs in der Union-Methode, um ein nicht benötigtes zusätzliches Shuffle zu vermeiden, wenn alle anderen RDDs dieselbe Partitionierung aufweisen.
- [SPARK-24552][CORE][SQL] Verwenden Sie eindeutige ID anstelle der Versuchsnummer für Schreibvorgänge.
- Übergibt die eindeutige Taskversuchs-ID anstelle der Versuchsnummer an v2-Datenquellen, da die Versuchsnummer wiederverwendet wird, wenn Phasen wiederholt werden. Dies wirkt sich auf die Datenquellen-APIs V1 und V2 aus, aber die Dateiformat-APIs sind nicht betroffen, da DBR ein anderes Commitprotokoll verwendet.
- [SPARK-24588][SS] Streamingjoin sollte HashClusteredPartitioning von untergeordneten Elementen erfordern.
- [SPARK-24589][CORE] Tasks im Ausgabecommit-Koordinator richtig identifizieren.
- Fügt dem vom Koordinator nachverfolgten Phasenzustand weitere Informationen hinzu, sodass nur eine Aufgabe die Ausgabe committen darf. Durch diese Korrektur werden auch die von SPARK-18113 eingeführten änderungen an unnötigem Code entfernt.
- [SPARK-23933][SQL] Hinzufügen map_from_arrays Funktion
- [SPARK-24583][SQL] Falscher Schematyp in InsertIntoDataSourceCommand
- Beim Erstellen einer Delta-Tabelle mit NOT NULL-Einschränkungen könnten wir die NULL-Zulässigkeit löschen und die NULL-Werte einfügen, ohne die Verletzung zu überprüfen.
- [SPARK-24542][SQL] UDF-Serie UDFXPathXXXX ermöglicht Benutzern, sorgfältig erstelltes XML für den Zugriff auf beliebige Dateien zu übergeben.
- Dies ist ein Von der Community gemeldeter Sicherheitspatch. UDF-Serie UDFXPathXXXX ermöglicht Benutzern, sorgfältig erstelltes XML für den Zugriff auf beliebige Dateien zu übergeben. Wenn Benutzer die externe Zugriffssteuerungsbibliothek verwenden, können Benutzer sie umgehen und auf den Dateiinhalt zugreifen.
- [SPARK-23934][SQL] Hinzufügen der map_from_entries-Funktion
- [SPARK-23912][SQL] Hinzufügen array_distinct
- [SPARK-24574][SQL] array_contains-, array_position-, array_remove- und element_at-Funktionen befassen sich mit dem Spaltentyp.
Wartungsupdates
Weitere Informationen finden Sie unter Databricks Runtime 4.3-Wartungsupdates.
Systemumgebung
- Betriebssystem: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 für Python 2-Cluster und 3.5.2 für Python 3-Cluster.
- R: R-Version 3.4.4 (2018-03-15)
- GPU-Cluster: Die folgenden NVIDIA-GPU-Bibliotheken sind installiert:
- Tesla-Treiber 375.66
- CUDA 9.0
- cuDNN 7.0
Installierte Python-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| Python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | sechs | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.2 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
| wsgiref | 0.1.2 |
Installierte R-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | Blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | Auto | 3.0-0 |
| carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| cluster | 2.0.7-1 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0,8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1,0 - 8 | desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-70 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| Grafiken | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0,3 | lattice | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-50 | Matrix | 1.2-14 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | methods | 3.4.4 | mgcv | 1.8-24 |
| mime | 0,5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.1 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2,10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Datenstrom | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0,8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | Sammlung | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | parquet-column | 1.8.3-databricks2 |
| org.apache.parquet | parquet-common | 1.8.3-databricks2 |
| org.apache.parquet | parquet-encoding | 1.8.3-databricks2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |