Databricks Runtime 5.3 (nicht unterstützt)
Dieses Image wurde von Databricks im April 2019 veröffentlicht.
Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 5.3 mit Unterstützung durch Apache Spark.
Neue Funktionen
Databricks Delta
Zeitreise GA
Die Delta-Zeitreise ist nun allgemein verfügbar. Sie bietet die Möglichkeit, eine Momentaufnahme einer Tabelle mithilfe einer Zeichenfolge oder einer Version abzufragen, wobei eine SQL-Syntax sowie DataFrameReader-Optionen für Zeitstempelausdrücke verwendet werden.
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version
Für eine Zeitreise gibt es viele Anwendungsfälle, z. B.:
- Neuerstellung von Analysen, Berichten oder Ausgaben (z. B. die Ausgabe eines Machine Learning-Modells), die für die Fehlersuche oder Prüfung nützlich sind, insbesondere in regulierten Branchen.
- Schreiben komplexer temporaler Abfragen.
- Beheben von Fehlern in Ihren Daten.
- Bereitstellen der Momentaufnahmenisolation für eine Reihe von Abfragen für sich schnell verändernde Tabellen.
Weitere Informationen finden Sie unter Arbeiten mit dem Delta Lake-Tabellenverlauf.
MySQL-Tabellenreplikation in Delta Public Preview
Streamen Sie Daten aus einer MySQL-Tabelle direkt in Delta, um sie anschließend in Spark-Analysen oder Data Science-Workflows zu verwenden. Mithilfe der gleichen Strategie, die MySQL für die Replikation auf andere Instanzen verwendet, wird binlog zum Identifizieren von Aktualisierungen verwendet, die dann wie folgt verarbeitet und an Databricks gestreamt werden:
- Liest Änderungsereignisse aus dem Datenbankprotokoll.
- Streamt die Ereignisse an Databricks.
- Schreibt in der gleichen Reihenfolge in eine Delta-Tabelle.
- Behält den Zustand bei, wenn die Verbindung zur Quelle unterbrochen wird.
Private Previewfunktionen
Dieses Release enthält die folgenden privaten Previewfunktionen für Delta Lake:
- Es wurde ein experimenteller Befehl hinzugefügt, mit dem Presto Delta-Tabellen direkt abfragen kann.
- Das automatische Optimieren optimiert das Dateilayout bei einzelnen Schreibvorgängen in eine Delta-Tabelle und verhindert, dass sich kleine Dateien in Ihren Delta-Tabellen ansammeln, um eine blitzschnelle Abfrageleistung zu gewährleisten. Außerdem können Schreibvorgänge und Upserts in partitionierte Delta-Tabellen dank eines adaptiven Zufallmodus bei Schreibvorgängen erheblich beschleunigt werden.
Wenn Sie an einer der beiden Vorschauen teilnehmen möchten, wenden Sie sich an Ihr Databricks-Kundenteam.
Optimierter DBFS FUSE-Ordner für Deep Learning-Workloads
Azure Databricks bietet jetzt eine optimierte FUSE-Einbindung. Sie können während des Trainings und des Rückschlusses leistungsstarken Zugriff auf die Daten haben, ohne Initialisierungsskripts anzuwenden. Daten, die unter dbfs:/ml gespeichert sind und auf die lokal unter file:/dbfs/ml zugegriffen werden kann, werden jetzt durch diese optimierte FUSE-Einbindung unterstützt. Weitere Informationen finden Sie unter Laden von Daten für maschinelles Lernen und Deep Learning.
Verbesserungen
Bibliotheken im Notebook-Bereich:
- Unterstützung für Extras in
dbutils.library.installPyPI. - Unterstützung für die Installation von Bibliotheken im Notebook-Bereich im Azure-Dateisystem, einschließlich
wasbs,adlsundabfss. - Verbesserte Fehlermeldungen für Bibliotheken im Notebook-Bereich auf nicht unterstützten Zielen. Beispiel: „Hilfsprogramme für Bibliotheken sind in Databricks Runtime für Machine Learning nicht verfügbar.“
- Unterstützung für Extras in
Stellen Sie eine Verbindung mit Azure Data Lake Storage Gen2 (ADLS Gen2) her, ohne dass Sie eine kontoweite RBAC-Rolle vom Typ „Mitwirkender an Storage-Blobdaten“ für den Dienstprinzipal gewähren müssen.
Databricks Advisor verfügt über zusätzliche Hinweise zur Verbesserung der Leistung von Abfragen:
- Wenn es viele kleine Dateien pro Partition gibt -> Tabelle in Delta konvertieren und
OPTIMIZEausführen. - Wenn ein sehr selektiver Filter vorhanden ist -> In Delta konvertieren und
ZORDER BYausführen. - Wenn Metadatenabrufe von Hive zu einem Engpass werden -> Tabelle in Delta konvertieren.
- Wenn es viele kleine Dateien pro Partition gibt -> Tabelle in Delta konvertieren und
Upgrade für Ubuntu von 16.04.5 LTS auf 16.04.6 LTS durchgeführt.
Upgrade für Scala 2.11 von 2.11.8 auf 2.11.12 durchgeführt.
Mehrere installierte Python-Bibliotheken haben ein Upgrade erhalten:
- pip: 18.1 auf 19.0.3.
- setuptools: 40.6.3 auf 40.8.0
- wheel: 0.32.3 auf 0.33.1
Upgrade für R von 3.4.4 auf 3.5.2 durchgeführt.
Mehrere installierte R-Bibliotheken haben ein Upgrade erhalten. Weitere Informationen finden Sie unter Installierte R-Bibliotheken.
Eingestellte Unterstützung
- Apache Kafka 0.8-Connector für Structured Streaming wird nicht mehr unterstützt. Er ist in Databricks Runtime 5.3 enthalten, wird aber in einer zukünftigen Version von Databricks Runtime entfernt werden.
- Der Databricks ML-Modellexport ist veraltet und wird in Databricks Runtime 6.0 entfernt. Verwenden Sie stattdessen MLeap zum Importieren und Exportieren von Modellen.
spark.databricks.pyspark.enableExecutorFsPermswurde als Konfigurationsoption entfernt.
Fehlerbehebungen
- Die clusterweite Installation der Python Egg-Bibliothek für Cluster, die für Tabellen-ACLs aktiviert sind, wurde behoben.
- Der Abbruch von Python-Befehlen wurde verbessert, indem die Situation behoben wurde, in der der Abbruch vor der Ausführung des Befehls aufgerufen wird.
- Ein Fehler in den Tabellen-ACLs wurde behoben: Wenn Sie jetzt Objekte in einer Datenbank oder einem Katalog auflisten, sehen Sie nur die Objekte, für die Sie über eine Berechtigung verfügen.
Apache Spark
Databricks Runtime 5.3 enthält Apache Spark 2.4.0. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 5.2 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:
- [SPARK-27134][SQL] Die Funktion array_distinct funktioniert nicht ordnungsgemäß mit Spalten, die ein Array von Arrays enthalten
- [SPARK-24669][SQL] Tabellen im Fall von DROP DATABASE CASCADE als ungültig erklären
- [SPARK-26572][SQL] Ergebnisauswertung der Codegenerierung für Aggregat beheben
- [SPARK-27046][DSTREAMS] Verweise auf SPARK-19185 aus der Dokumentation entfernen
- [SPARK-26449][PYTHON] Transform-Methode zur Datenrahmen-API hinzufügen
- [SPARK-26740][SQL] Zeitstempel-/Datum-Spaltenstatistiken lesen, die von Spark 3.0 geschrieben wurden
- [SPARK-26909][SQL] „unsafeRow.hashCode()“ als Hashwert in HashAggregate verwenden
- [SPARK-26990][SQL] FileIndex: Nach Möglichkeit vom Benutzer angegebene Feldnamen verwenden
- [SPARK-26851][SQL] Überprüfte Sperrung in CachedRDDBuilder beheben
- [SPARK-26864][SQL] Abfrage gibt möglicherweise ein falsches Ergebnis zurück, wenn Python UDF als Left-Semi-Join-Bedingung verwendet wird
- [SPARK-26887][SQL][PYTHON]
datetime.datedirekt erstellen, anstatt datetime64 als Zwischendaten zu erstellen - [SPARK-26859][SQL] Indexfehler von Feldwriter im nicht vektorisierten ORC-Deserialisierer beheben
- [SPARK-26864][SQL] Die Abfrage kann ein falsches Ergebnis zurückgeben, wenn Python UDF als Verknüpfungsbedingung verwendet wird und die UDF-Attribute aus beiden Verzweigungen des Left-Semi-Joins verwendet
- [SPARK-24360][SPARK-26091][BACKPORT][SQL] Unterstützung von Hive 3.1-Metastore
- [SPARK-26873][SQL] Konsistenten Zeitstempel zum Erstellen von Hadoop-Auftrags-IDs verwenden
- [SPARK-26734][STREAMING] StackOverflowError mit großer Blockwarteschlange beheben
- [SPARK-26758][CORE] Executors im Leerlauf werden nicht nach dem spark.dynamiAllocation.executorIdleTimeout-Wert beendet
- [SPARK-26751][SQL] Arbeitsspeicherverlust bei Ausführung von Anweisung im Hintergrund beheben und Ausnahme auslösen, die nicht HiveSQLException entspricht
- [SPARK-26806][SS] EventTimeStats.merge sollte Nullwerte ordnungsgemäß verarbeiten
- [SPARK-26745][SPARK-24959][SQL] Zähleroptimierung in JSON-Datenquelle wiederherstellen durch
- [SPARK-26757][GRAPHX] Rückgabe von 0 für count bei leeren Edge/Vertex-RDDs
- [SPARK-26726] Speichermenge synchronisieren, die von der Broadcast-Variable für die Anzeige der Benutzeroberfläche verwendet wird
- [SPARK-26718][SS] Ganzzahlüberlauf in SS Kafka rateLimit-Berechnung behoben
- [SPARK-26708][SQL] Falsches Ergebnis aufgrund einer Inkonsistenz zwischen dem zwischengespeicherten RDD eines SQL-Caches und seinem physischen Plan
- [SPARK-26735][SQL] Planintegrität für spezielle Ausdrücke überprüfen
- [SPARK-26619][SQL] Nicht verwendete Serialisierungsmodule aus SerializeFromObject bereinigen
- [SPARK-26379][SS] Pseudo-TimeZoneId verwenden, um UnresolvedException in CurrentBatchTimestamp zu vermeiden
- [SPARK-26495][SQL] SelectedField-Extractor vereinfachen
- [SPARK-26379][SS] Problem beim Hinzufügen von current_timestamp/current_date zur Streamingabfrage beheben
- [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verarbeitet leere Datensätze nicht ordnungsgemäß
- [SPARK-26680][SQL] Frühzeitig inputVars erstellen, während die Bedingungen angemessen sind
- [SPARK-26682][SQL] taskAttemptID anstelle von attemptNumber für Hadoop verwenden
- [SPARK-26706][SQL] illegalNumericPrecedence für ByteType beheben
- [SPARK-26228][MLLIB] OOM-Problem beim Berechnen von Gramian-Matrix erkannt
- [SPARK-26665][CORE] Fehler beheben, durch den BlockTransferService.fetchBlockSync ewig hängen bleiben kann
- [SPARK-26549][PYSPARK] Korrektur, dass die Wiederverwendung von Python-Workern keine Auswirkung auf die Parallelisierung von verzögertem iterierbaren Bereich hat
- [SPARK-26351][MLLIB] Dokument und kleinere Korrekturen in den Auswertungsmetriken der mllib aktualisieren
- [SPARK-26450] Neuerstellung der Zuordnung von Schema für jede Spalte in einer Projektion vermeiden
- [SPARK-26638][PYSPARK][ML] Pyspark-Vektorklassen geben bei unärer Negation immer einen Fehler zurück
- [SPARK-26633][REPL] ExecutorClassLoader.getResourceAsStream hinzufügen
- [SPARK-26629][SS] Fehler bei mehreren Dateidatenströmen in einer Abfrage und Neustart für einen Batch behoben, der keine Daten für einen Dateidatenstrom enthält
- [SPARK-25992][PYTHON] Dokument SparkContext kann bei Multiprocessing nicht freigegeben werden
- [SPARK-26615][CORE] Korrektur von Verlusten der Transportserver-/Clientressource in den Kerneinheitentests
- [SPARK-26350][SS] Außerkraftsetzung der Gruppen-ID des Kafka-Consumers zulassen
- [SPARK-26538][SQL] Standardpräzision und -skalierung für Elemente eines numerischen Postgres-Arrays festlegen
- [SPARK-26586][SS] Racebedingung beheben, die dazu führt, dass Datenströme mit unerwarteten Konfigurationen ausgeführt werden
- [SPARK-26551][SQL] Fehler beim Löschen des Schemas behoben, wenn ein komplexes Feld ausgewählt wird und kein NULL-Prädikat auf einem anderen Feld vorliegt
- [SPARK-26576][SQL] Übertragungshinweis nicht auf partitionierte Tabelle angewendet
- [SPARK-26571][SQL] Hive Serde-Zuordnung mit kanonischem Namen von Parquet- und Orc-Dateiformat aktualisieren
- [SPARK-26267][SS] Wiederholung bei Erkennung falscher Offsets von Kafka (2.4)
- [SPARK-26559][ML][PYSPARK] ML-Image kann nicht mit numpy-Versionen vor 1.9 verwendet werden
- [SPARK-26078][SQL] Selbstverknüpfungsattribute bei IN-Unterabfragen deduplizieren
Wartungsupdates
Weitere Informationen finden Sie unter Databricks Runtime 5.3-Wartungsupdates.
Systemumgebung
- Betriebssystem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 für Python 2-Cluster und 3.5.2 für Python 3-Cluster.
- R: R-Version 3.5.2 (2018-12-20)
- GPU-Cluster: Die folgenden NVIDIA-GPU-Bibliotheken sind installiert:
- Tesla-Treiber 375.66
- CUDA 9.0
- cuDNN 7.0
Hinweis
Scala 2.12 wird zwar in Apache Spark 2.4 unterstützt, jedoch nicht in Databricks Runtime 5.3.
Installierte Python-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.0.3 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| Python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | seaborn | 0.7.1 |
| setuptools | 40.8.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | sechs | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.1 |
| wsgiref | 0.1.2 |
Installierte R-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.0 |
| backports | 1.1.3 | base | 3.5.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | Blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.1.1 | Auto | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-81 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.0.1 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.7-1 |
| codetools | 0.2-16 | colorspace | 1.4-0 | commonmark | 1.7 |
| compiler | 3.5.2 | config | 0,3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | datasets | 3.5.2 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellipsis | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.6 | gbm | 2.1.5 |
| generics | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.24.0 | glmnet | 2.0-16 | glue | 1.3.0 |
| gower | 0.1.2 | Grafiken | 3.5.2 | grDevices | 3.5.2 |
| grid | 3.5.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.2.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0,3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.1 |
| littler | 0.3.6 | lme4 | 1.1-20 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | Matrix | 1.2-15 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methods | 3.5.2 |
| mgcv | 1.8-27 | mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-9 |
| nlme | 3.1-137 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.2.2 | openxlsx | 4.1.0 |
| parallel | 3.5.2 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.13.0 |
| processx | 3.2.1 | prodlim | 2018.04.18 | Fortschritt | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.0 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.0 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.3.1 |
| readxl | 1.3.0 | recipes | 0.1.4 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.1 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.9.0 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.2 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.5.2 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.5.2 | stats4 | 3.5.2 |
| stringi | 1.3.1 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.0 | tcltk | 3.5.2 | TeachingDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.0.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.5.2 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.5.2 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.0 |
Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Datenstrom | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0,10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | Sammlung | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |