Share via

Databricks Runtime 12.0 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 12.0, unterstützt von Apache Spark 3.3.1.

Databricks hat diese Images im Dezember 2022 veröffentlicht.

Neue Features und Verbesserungen

Vorhersage-E/A ist GA

Predictive E/A ist jetzt allgemein verfügbar. Weitere Informationen finden Sie unter Was ist Predictive I/O?.

Photon Writer unterstützt die zstd-Komprimierung

Der native Photon Writer unterstützt jetzt den zstd-Komprimierungscodec, wenn zstd durch Festlegen von spark.sql.parquet.compression.codec auf zstdaktiviert wird.

Unterstützung für Aufgabenressourcenprofil auf Phasenebene für eigenständige Cluster

Sie können jetzt die Zeitplanung auf Phasenebene für eigenständige Cluster verwenden, wenn die dynamische Zuordnung deaktiviert ist. Um dieses Feature zu verwenden, müssen Sie die Aufgabenressourcen mit ResourceProfileBuilder für jede Phase angeben.

SQL-Unterstützung für selektives Überschreiben mit REPLACE WHERE

Sie können jetzt Daten, die mit einem beliebigen Ausdruck in einer Delta-Tabelle übereinstimmen, mithilfe des folgenden Musters selektiv überschreiben.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Weitere Informationen finden Sie unter Beliebiges selektives Überschreiben mit replaceWhere.

Wasserzeichen werden jetzt in SQL unterstützt

Sie können nun Wasserzeichen mithilfe der SQL-Schnittstelle von Delta Live Tables und in SQL-Abfragen für Streaming-DataFrames angeben. Weitere Informationen finden Sie unter WATERMARK-Klausel.

PySpark-Speicherprofilerstellung

Die Speicherprofilerstellung ist jetzt für benutzerdefinierte PySpark-Funktionen aktiviert. Dadurch werden Informationen zum Arbeitsspeicherinkrement, zur Speicherauslastung und zur Anzahl der Vorkommen für jede Codezeile in einer benutzerdefinierten Funktion bereitgestellt.

Dynamische Bereinigung für DELETE und UPDATE

Bei der Verwendung von Photon-fähigem Compute verwenden DELETE und UPDATE jetzt die dynamische Datei- und Partitionsbereinigung, wenn dies die Leistung verbessert. Die dynamische Bereinigung wird beispielsweise aktiviert, wenn eine kleinere Quelltabelle zum Aktualisieren oder Löschen von Zeilen in einer größeren Tabelle verwendet wird.

Löschmetriken auf Zeilenebene für Vorgänge mit partitionierten Datenbearbeitungssprachen

Mit partitionierten Prädikaten können Benutzer jetzt überwachen, wie viele Zeilen beim Ausführen von DML-Vorgängen (Data Manipulation Language) wie DELETE, TRUNCATE und replaceWhere gelöscht werden.

Fehlerbehebungen

Ein Problem mit der JSON-Analyse im Autoloader wurde behoben, bei dem alle Spalten als Zeichenfolgen belassen wurden. Zuvor wurde cloudFiles.inferColumnTypes nicht festgelegt oder auf false festgelegt, und der JSON-Code enthielt geschachtelte Objekte.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • argon2-cffi von 20.1.0 auf 21.3.0
    • attrs von 21.2.0 auf 21.4.0
    • backports.entry-points-selectable von 1.1.1 auf 1.2.0
    • bleach von 4.0.0 auf 4.1.0
    • boto3 von 1.21.18 auf 1.21.32
    • botocore von 1.24.18 auf 1.24.32
    • cffi von 1.14.6 auf 1.15.0
    • click von 8.0.3 auf 8.0.4
    • cycler von 0.10.0 auf 0.11.0
    • Cython von 0.29.24 auf 0.29.28
    • debugpy von 1.4.1 auf 1.5.1
    • decorator von 5.1.0 auf 5.1.1
    • entrypoints von 0.3 auf 0.4
    • idna von 3.2 auf 3.3
    • ipykernel von 6.12.1 auf 6.15.3
    • ipython von 7.32.0 auf 8.5.0
    • ipywidgets von 7.7.0 auf 7.7.2
    • jedi von 0.18.0 auf 0.18.1
    • joblib von 1.0.1 auf 1.1.0
    • jsonschema von 3.2.0 auf 4.4.0
    • kiwisolver von 1.3.1 auf 1.3.2
    • matplotlib von 3.4.3 auf 3.5.1
    • nbclient von 0.5.3 auf 0.5.13
    • nbconvert von 6.1.0 auf 6.4.4
    • nbformat von 5.1.3 auf 5.3.0
    • nest-asyncio von 1.5.1 auf 1.5.5
    • notebook von 6.4.5 auf 6.4.8
    • numpy von 1.20.3 auf 1.21.5
    • packaging von 21.0 auf 21.3
    • pandas von 1.3.4 auf 1.4.2
    • pandocfilters von 1.4.3 auf 1.5.0
    • parso von 0.8.2 auf 0.8.3
    • Pillow von 8.4.0 auf 9.0.1
    • platformdirs von 2.5.2 auf 2.5.4
    • plotly von 5.9.0 auf 5.6.0
    • prometheus-client von 0.11.0 auf 0.13.1
    • protobuf von 4.21.5 auf 3.19.4
    • pycparser von 2.20 auf 2.21
    • Pygments von 2.10.0 auf 2.11.2
    • pyodbc von 4.0.31 auf 4.0.32
    • pyzmq von 22.2.1 auf 22.3.0
    • requests von 2.26.0 auf 2.27.1
    • s3transfer von 0.5.2 auf 0.5.0
    • scikit-learn von 0.24.2 auf 1.0.2
    • scipy von 1.7.1 auf 1.7.3
    • statsmodels von 0.12.2 auf 0.13.2
    • terminado von 0.9.4 auf 0.13.1
    • tomli von 2.0.1 auf 1.2.2
    • traitlets von 5.1.0 auf 5.1.1
    • urllib3 von 1.26.7 auf 1.26.9
    • widgetsnbextension von 3.6.0 auf 3.6.1
  • Aktualisierte R-Bibliotheken:
    • base von 4.1.3 auf 4.2.2
    • brew von 1.0-7 auf 1.0-8
    • bslib von 0.4.0 auf 0.4.1
    • callr von 3.7.2 auf 3.7.3
    • chron von 2.3-57 auf 2.3-58
    • cli von 3.3.0 auf 3.4.1
    • cluster von 2.1.3 auf 2.1.4
    • commonmark von 1.8.0 auf 1.8.1
    • compiler von 4.1.3 auf 4.2.2
    • cpp11 von 0.4.2 auf 0.4.3
    • crayon von 1.5.1 auf 1.5.2
    • curl von 4.3.2 auf 4.3.3
    • data.table von 1.14.2 auf 1.14.4
    • datasets von 4.1.3 auf 4.2.2
    • desc von 1.4.1 auf 1.4.2
    • devtools von 2.4.4 auf 2.4.5
    • digest von 0.6.29 auf 0.6.30
    • e1071 von 1.7-11 auf 1.7-12
    • evaluate von 0.16 auf 0.18
    • fontawesome von 0.3.0 auf 0.4.0
    • future von 1.28.0 auf 1.29.0
    • future.apply von 1.9.1 auf 1.10.0
    • gargle von 1.2.0 auf 1.2.1
    • gert von 1.8.0 auf 1.9.1
    • ggplot2 von 3.3.6 auf 3.4.0
    • gh von 1.3.0 auf 1.3.1
    • gitcreds von 0.1.1 auf 0.1.2
    • graphics von 4.1.3 auf 4.2.2
    • grDevices von 4.1.3 auf 4.2.2
    • grid von 4.1.3 auf 4.2.2
    • httpuv von 1.6.5 auf 1.6.6
    • isoband von 0.2.5 auf 0.2.6
    • jsonlite von 1.8.0 auf 1.8.3
    • lava von 1.6.10 auf 1.7.0
    • lifecycle von 1.0.1 auf 1.0.3
    • lubridate von 1.8.0 auf 1.9.0
    • markdown von 1.1 auf 1.3
    • MASS von 7.3-56 auf 7.3-58
    • Matrix von 1.4-1 auf 1.5-1
    • methods von 4.1.3 auf 4.2.2
    • mgcv von 1.8-40 auf 1.8-41
    • nlme von 3.1-157 auf 3.1-160
    • nnet von 7.3-17 auf 7.3-18
    • openssl von 2.0.2 auf 2.0.4
    • parallel von 4.1.3 auf 4.2.2
    • pkgload von 1.3.0 auf 1.3.1
    • processx von 3.7.0 auf 3.8.0
    • ps von 1.7.1 auf 1.7.2
    • purrr von 0.3.4 auf 0.3.5
    • ragg von 1.2.2 auf 1.2.4
    • RcppEigen von 0.3.3.9.2 auf 0.3.3.9.3
    • readr von 2.1.2 auf 2.1.3
    • recipes von 1.0.1 auf 1.0.3
    • rlang von 1.0.5 auf 1.0.6
    • rmarkdown von 2.16 auf 2.18
    • rpart von 4.1.16 auf 4.1.19
    • RSQLite von 2.2.16 auf 2.2.18
    • shiny von 1.7.2 auf 1.7.3
    • SparkR von 3.3.0 auf 3.3.1
    • splines von 4.1.3 auf 4.2.2
    • stats von 4.1.3 auf 4.2.2
    • stats4 von 4.1.3 auf 4.2.2
    • sys von 3.4 auf 3.4.1
    • tcltk von 4.1.3 auf 4.2.2
    • testthat von 3.1.4 auf 3.1.5
    • tidyr von 1.2.0 auf 1.2.1
    • tidyselect von 1.1.2 auf 1.2.0
    • timeDate von 4021.104 auf 4021.106
    • tinytex von 0.41 auf 0.42
    • tools von 4.1.3 auf 4.2.2
    • utils von 4.1.3 auf 4.2.2
    • vctrs von 0.4.1 auf 0.5.0
    • vroom von 1.5.7 auf 1.6.0
    • xfun von 0.32 auf 0.34
    • yaml von 2.3.5 auf 2.3.6
    • zip von 2.2.0 auf 2.2.2
  • Aktualisierte Java-Bibliotheken:
    • com.fasterxml.jackson.core.jackson-databind von 2.13.4 auf 2.13.4.2
    • org.apache.parquet.parquet-column von 1.12.0-databricks-0007 auf 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common von 1.12.0-databricks-0007 auf 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding von 1.12.0-databricks-0007 auf 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures von 1.12.0-databricks-0007 auf 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop von 1.12.0-databricks-0007 auf 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson von 1.12.0-databricks-0007 auf 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations von 0.5.0 auf 0.13.0

Apache Spark

Databricks Runtime 12.0 enthält Apache Spark 3.3.1. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 11.3 LTS enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] „[SC-113542][SS] Standardwert von Konfiguration zum Abrufen des Kafka-Versatzes gespiegelt“ wiederhergestellt
  • [SPARK-40646] [SC-116061] „[SC-113379][SQL] Rückgabe von Teilergebnissen in JSON-Datenquellen- und JSON-Funktionen behoben“ wiederhergestellt
  • [SPARK-41195] [SC-116305][SQL] Unterstützung von PIVOT/UNPIVOT mit untergeordneten JOIN-Elementen
  • [SPARK-41178] [SC-116139][SQL] Rangfolge der Parserregel zwischen JOIN und Komma behoben
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] Fehlerklasse STREAM_FAILED zu StreamingQueryException hinzugefügt
  • [SPARK-40921] „[SC-115140][SC-114585][SQL] WHEN NOT MATCHED BY SOURCE-Klausel zu MERGE INTO hinzugefügt“ wiederhergestellt
  • [SPARK-37980] [SC-115758] [SQL] METADATA-Spalte zur Unterstützung von Zeilenindizes für Parquet-Dateien erweitert
  • [SPARK-41055] [SC-115582][SQL] _LEGACY_ERROR_TEMP_2424 in GROUP_BY_AGGREGATE umbenannt
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] Unterstützung des Nachrichtenklassennamens für PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] SQL-Äquivalent für Befehl zum Überschreiben des Dataframe
  • [SPARK-41095] [SC-115659][SQL] Nicht aufgelöste Operatoren in interne Fehler konvertiert
  • [SPARK-41144] [SC-115866][SQL] Nicht aufgelöster Hinweis sollte keinen Abfragefehler verursachen
  • [SPARK-41137] [SC-115858][SQL] LATERAL_JOIN_OF_TYPE in INVALID_LATERAL_JOIN_TYPE umbenannt
  • [SPARK-40998] [SC-114754][SQL] Fehlerklasse _LEGACY_ERROR_TEMP_0040 in INVALID_IDENTIFIER umbenannt
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] UnitTest-NULL-Überprüfung für den Datengenerator
  • [SPARK-40769] [SC-114923][CORE][SQL] Typprüfungsfehler von Aggregatausdrücken in Fehlerklassen migriert
  • [SPARK-41043] [SC-115183][SQL] Fehlerklasse _LEGACY_ERROR_TEMP_2429 in NUM_COLUMNS_MISMATCH umbenannt
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Unterstützung des Protobuf-Imports und Verschieben von Fehlerklassen.
  • [SPARK-41019] [SC-114987][SQL] Abfragekontext für failAnalysis() bereitgestellt
  • [SPARK-41027] [SC-115131][SQL] Verwendung von UNEXPECTED_INPUT_TYPE anstelle von MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] Shufflegröße von ALS reduziert
  • [SPARK-41134] [SC-115851][SQL] Fehlermeldung interner Fehler verbessert
  • [SPARK-37980] „METADATA-Spalte zur Unterstützung von Zeilenindizes für Parquet-Dateien erweitern“ wiederhergestellt
  • [SPARK-41109] [SC-115788][SQL] Fehlerklasse _LEGACY_ERROR_TEMP_1216 in INVALID_LIKE_PATTERN umbenannt
  • [SPARK-40984] [SC-115844][CORE][SQL] Verwenden von NON_FOLDABLE_INPUT anstelle von FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][SQL] Konstruktorverwendung von GenericArrayData für Scala 2.13 optimiert
  • [SPARK-40697] [SC-113648][SQL] Leseseitiger Zeichenabstand zum Abdecken externer Datendateien hinzugefügt
  • [SPARK-40978] [SC-114574][SQL] failAnalysis() ohne Kontext in Fehlerklassen migriert
  • [SPARK-40663] [SC-114586][SQL] Ausführungsfehler in Fehlerklassen migriert: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2: Unterstützung der Laufzeitgruppenfilterung in Befehlen auf Zeilenebene
  • [SPARK-40372] [SC-115668][SQL] Fehler von Arraytypprüfungen in Fehlerklassen migriert
  • [SPARK-41038] [SC-115371][SQL] MULTI_VALUE_SUBQUERY_ERROR in SCALAR_SUBQUERY_TOO_MANY_ROWS umbenannt
  • [SPARK-40965] [SC-114443][SQL] Fehlerklasse _LEGACY_ERROR_TEMP_1208 in FIELD_NOT_FOUND umbenannt
  • [SPARK-40748] [SC-114696][SQL] Typprüfungsfehler von Bedingungen in Fehlerklassen migriert
  • [SPARK-40371] [SC-114557][SQL] Typprüfungsfehler von NthValue und NTile in Fehlerklassen migriert
  • [SPARK-41092] [SC-115547][SQL] Keine Verwendung des Bezeichners, um Intervalleinheiten abzugleichen
  • [SPARK-41009] [SC-115360][SQL] Fehlerklasse _LEGACY_ERROR_TEMP_1070 in LOCATION_ALREADY_EXISTS umbenannt
  • [SPARK-37980] [SQL] METADATA-Spalte zur Unterstützung von Zeilenindizes für Parquet-Dateien erweitert
  • [SPARK-40967] [SC-114448][SQL] failAnalysis() in Fehlerklassen migriert
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] Python-UDFs mithilfe von SQL-Metriken instrumentiert
  • [SPARK-41012] [SC-114873][SQL] _LEGACY_ERROR_TEMP_1022 in ORDER_BY_POS_OUT_OF_RANGE umbenannt
  • [SPARK-41042] [SC-115142][SQL] PARSE_CHAR_MISSING_LENGTH in DATATYPE_MISSING_SIZE umbenannt
  • [SPARK-40752] [SC-114442][SQL] Typprüfungsfehler unterschiedlicher Ausdrücke in Fehlerklassen migriert
  • [SPARK-37945] [SC-115534][SQL][CORE] Verwendung von Fehlerklassen in den Ausführungsfehlern von arithmetischen Vorgängen
  • [SPARK-40374] [SC-114705][SQL] Typprüfungsfehler des Typs Ersteller in Fehlerklassen migriert
  • [SPARK-41056] [SC-115354][R] Behebung des neuen R_LIBS_SITE-Verhaltens, das in R 4.2 eingeführt wurde
  • [SPARK-41041] [SC-115357][SQL] _LEGACY_ERROR_TEMP_1279 in TABLE_OR_VIEW_ALREADY_EXISTS integriert
  • [SPARK-40663] [SC-114852][SQL] Ausführungsfehler in Fehlerklassen migriert: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] Fehlerklasse _LEGACY_ERROR_TEMP_1019 in STAR_GROUP_BY_POS umbenannt
  • [SPARK-41035] [SC-115233][SQL] Faltbare untergeordnete Elemente von Aggregatfunktionen in RewriteDistinctAggregates nicht patchen
  • [SPARK-39778] [SC-114353][SQL] Fehlerklassen und Nachrichten verbessert
  • [SPARK-40798] [SC-113782][SQL] Bei Veränderung der Partition sollte der Wert der storeAssignmentPolicy geprüft werden
  • [SPARK-40810] [SC-113533][SQL] Verwendung von SparkIllegalArgumentException anstelle von IllegalArgumentException in CreateDatabaseCommand und AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][SC-114585][SQL] WHEN NOT MATCHED BY SOURCE-Klausel zu MERGE INTO hinzugefügt
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS- und NOT_FOUND-Ausnahmen
  • [SPARK-41007] [SC-115085][SQL] Fehlendes Serialisierungsprogramms für java.math.BigInteger hinzugefügt
  • [SPARK-40751] [SC-114254][SQL] Typprüfungsfehler von Funktionen höherer Ordnung in Fehlerklassen migriert
  • [SPARK-40248] [SC-114704][SQL] Größere Anzahl von Bits zum Erstellen des Bloom-Filters verwendet
  • [SPARK-41040] [SC-115145][SS] Self-Union-Streamingabfragefehler bei Verwendung von readStream.table behoben
  • [SPARK-32380] [SC-114966][SQL] Zugriff auf die HBase-Tabelle über Hive von Spark behoben
  • [SPARK-40749] [SC-114860][SQL] Typprüfungsfehler von Generatoren in Fehlerklassen migriert
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] Verspäteter zustandsbehafteter Operator behoben...
  • [SPARK-40654] [SC-112783] Temporäre Protokollzeilen entfernt
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] Java-Kompilierungswarnungen im Zusammenhang mit generischen Typen behoben
  • [SPARK-40657] [SC-113642][Cherry-Pick] Unterstützung für Java-Klassen in Protob hinzugefügt...
  • [SPARK-40898] [SC-113932][SQL] Anführungszeichen in Funktionsnamen bei Datentypkonfliktfehlern hinzugefügt
  • [SPARK-40760] [SC-113750][SQL] Typprüfungsfehler von Intervallausdrücken in Fehlerklassen migriert
  • [SPARK-36114] [SC-113771][SQL] Unterstützung von Unterabfragen mit korrelierten Ungleichheitsprädikaten
  • [SPARK-40856] [SC-113738][SQL] Fehlervorlage von WRONG_NUM_PARAMS aktualisiert
  • [SPARK-40759] [SC-114251][SQL] Typprüfungsfehler von Zeitfenstern in Fehlerklassen migriert
  • [SPARK-40750] [SC-113812][SQL] Typprüfungsfehler mathematischer Ausdrücke in Fehlerklassen migriert
  • [SPARK-40756] [SC-113749][SQL] Typprüfungsfehler von Zeichenfolgenausdrücken in Fehlerklassen migriert
  • [SPARK-40768] [SC-113640][SQL] Typprüfungsfehler von bloom_filter_agg() in Fehlerklassen migriert
  • [SPARK-40369] [SC-113402][CORE][SQL] Typprüfungsfehler von Aufrufen über Reflexion in Fehlerklassen migriert
  • [SPARK-39445] [SQL] Fenster, wenn windowExpressions bei der Spaltenbereinigung leer ist, entfernt
  • [SPARK-40761] [SC-113245][SQL] Typprüfungsfehler von Prozentausdrücken in Fehlerklassen migriert
  • [SPARK-40361] [SC-112789][SQL] Arithmetische Typprüfungsfehler in Fehlerklassen migriert
  • [SPARK-40714] [SC-112576][SQL] PartitionAlreadyExistsException entfernt
  • [SPARK-40702] [SC-112437][SQL] Partitionsspezifikationen in PartitionsAlreadyExistException behoben
  • [SPARK-40358] [SC-112631][SQL] Sammlungstypprüfungsfehler in Fehlerklassen migriert
  • [SPARK-40910] [SC-114259][SQL] UnsupportedOperationException durch SparkUnsupportedOperationException ersetzt
  • [SPARK-39876] [SC-112429][SQL] UNPIVOT zur SQL-Syntax hinzugefügt
  • [SPARK-39783] [SC-113389][SQL] Verwendung von Anführungszeichen für qualifiedName zum Beheben von Graviszeichen für Spaltenkandidaten in Fehlermeldungen
  • [SPARK-40663] [SC-112520][SQL] Ausführungsfehler in Fehlerklassen migriert: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] Fehlerklasse _LEGACY_ERROR_TEMP_0021 in UNSUPPORTED_TYPED_LITERAL umbenannt
  • [SPARK-37935] [SC-114472][SQL] Separate Fehlerunterklassenfelder entfernt
  • [SPARK-40944] [SC-114530][SQL] Einschränkung für die Reihenfolge für CREATE TABLE-Spaltenoptionen aufgehoben
  • [SPARK-40815] [SC-114528][SQL] DelegateSymlinkTextInputFormat zur Problemumgehung des SymlinkTextInputSplit-Fehlers hinzugefügt
  • [SPARK-40933] [SC-114441][SQL] df.stat. {cov, corr} mit integrierten SQL-Funktionen erneut implementiert
  • [SPARK-40932] [SC-114439][CORE] Problemmeldungen für „allGather werden überschrieben“ behoben
  • [SPARK-39312] [SQL] Natives In-Prädikat für In Filter-Pushdown verwendet
  • [SPARK-40862] [SC-114352][SQL] Unterstützung nicht aggregierter Unterabfragen in RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][SQL] Nullwerte in Projekt, das von ExtractGenerator erstellt wurde, korrekt festgelegt
  • [SPARK-40663] [SC-112295][SQL] Ausführungsfehler in Fehlerklassen migriert: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] Anforderung der window_time-Regel gelockert – Mehrere window_time-Aufrufe zulassen
  • [SPARK-40540] [SC-111639][SQL] Kompilierungsfehler in Fehlerklassen migriert: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] Behebung von Unhex, wenn die Eingabe eine ungerade Anzahl an Symbolen umfasst
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] Einführung derwindow_time-Funktion zum Extrahieren der Ereigniszeit aus der Fensterspalte
  • [SPARK-40800] [SC-113772][SQL] Immer Inlineausdrücke in OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][SQL] frequentItems mit Dataframevorgängen erneut implementiert
  • [SPARK-40735] [SC-114022][SC-112657] Konsistentes Aufrufen von bash mit /usr/bin/env bash in Skripts, um Code portierbarer zu machen
  • [SPARK-40773] [SC-113091][SQL] checkCorrelationsInSubquery umgestaltet
  • [SPARK-40615] [SC-113400][SQL] Überprüfung nicht unterstützter Datentypen beim Dekorrelieren von Unterabfragen
  • [SPARK-40660] [SC-112293][CORE][SQL] Wechsel zu XORShiftRandom, um Elemente zu verteilen
  • [SPARK-40540] [SC-113926][SC-111331][SQL] Kompilierungsfehler in Fehlerklassen migriert
  • [SPARK-40551] [SC-113135][SQL] DataSource V2: APIs für deltabasierte Vorgänge auf Zeilenebene hinzugefügt
  • [SPARK-39391] [SC-110676][CORE] Partitioner-Klassen wiederverwendet
  • [SPARK-40368] [SC-113396][SQL] Typprüfungsfehler des Bloom-Filters in Fehlerklassen migriert
  • [SPARK-39146] [SC-111814][CORE][SQL] Einführung des lokalen Singleton für ObjectMapper zur Wiederverwendung
  • [SPARK-40357] [SC-113786][SC-111352][SQL] Fenstertypprüfungsfehler in Fehlerklassen migriert
  • [SPARK-40874] [SC-113756][PYTHON] Beheben von Übertragungen in Python-UDFs bei aktivierter Verschlüsselung
  • [SPARK-40359] [SC-113770][SC-111146][SQL] Typprüfungsfehler in CSV/JSON-Ausdrücke in Fehlerklassen migriert
  • [SPARK-40880] [SC-113764][SQL] summary mit Dataframevorgängen erneut implementiert
  • [SPARK-40877] [SC-113763][SQL] crosstab mit Dataframevorgängen erneut implementiert
  • [SPARK-40382] [SC-113098][SQL] Gruppieren unterschiedlicher Aggregatausdrücke nach semantisch gleichwertigen untergeordneten Ausdrücken in RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][SS] Zusätzliche Dateiprüfung für Umbenennung des Prüfpunkts hinzugefügt
  • [SPARK-40829] [SC-113426][SQL] STORED AS serde in CREATE TABLE LIKE-Ansicht funktioniert nicht
  • [SPARK-40844] [SC-113542][SS] Standardwert von Konfiguration zum Abrufen des Kafka-Versatzes gespiegelt
  • [SPARK-40488] [SC-113568][SC-111160] Ausnahmen nicht umschließen, die ausgelöst werden, wenn der Schreibvorgang der Datenquelle fehlschlägt
  • [SPARK-40560] [SC-113631][SC-111335][SQL] Umbenennung von message in messageTemplate im STANDARD-Format von Fehlern
  • [SPARK-40618] [SC-113096][SQL] Fehler in der MergeScalarSubqueries-Regel mit geschachtelten Unterabfragen mithilfe der Verweisnachverfolgung behoben
  • [SPARK-40530] [SC-113528][SC-111332][SQL] Fehlerbezogene Entwickler-APIs hinzugefügt
  • [SPARK-40806] [SC-113250][SQL] Fehlerkorrektur: CREATE TABLE –> REPLACE TABLE
  • [SPARK-40646] [SC-113379][SQL] Rückgabe von Teilergebnissen in JSON-Datenquellen und JSON-Funktionen behoben
  • [SPARK-40654] [Cherry-Pick][SC-112783][SQL] Protobuf-Unterstützung für Spark – von...
  • [SPARK-40753] [SC-113539][SQL] Fehler im Testfall für den Katalogverzeichnisvorgang behoben
  • [SPARK-40765] [SC-113056][SQL] Redundante fs-Vorgänge in CommandUtils#calculateSingleLocationSize#getPathSize-Methode optimiert
  • [SPARK-40114] [ES-479282][R][11.X] Arrow 9.0.0-Unterstützung mit SparkR
  • [SPARK-40479] [SC-110935][SQL] Unerwarteten Eingabetypfehler in eine Fehlerklasse migriert
  • [SPARK-40473] [SC-113388][SC-111141][SQL] Parsingfehler in Fehlerklassen migriert
  • [SPARK-39853] [SC-111867][CORE] Unterstützung für Aufgabenressourcenprofil auf Phasenebene für eigenständige Cluster, wenn die dynamische Zuordnung deaktiviert ist (Backport von PR-47157)
  • [SPARK-40407] [SC-111161][SQL] Potenzielle Datenschiefe durch df.repartition behoben
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE muss keine Tabellenlookups durchführen
  • [SPARK-40703] [SC-113242][SQL] Einführung von Shuffle auf SinglePartition zur Verbesserung der Parallelität
  • [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil zum Festlegen des Ursprungs der Hadoop/Hive-Konfigurationsoptionen
  • [SPARK-39062] [11.x][CORE] Ressourcenplanungsunterstützung auf Phasenebene für eigenständige Cluster hinzugefügt
  • [SPARK-33861] [SC-109877] „[SQL] Bedingung im Prädikat vereinfacht“ wiederhergestellt
  • [SPARK-40667] [SC-113136][SQL] Optionen für Dateidatenquelle umgestaltet
  • [SPARK-40370] [SC-110677][SQL] Typprüfungsfehler zu Fehlerklassen in CAST migriert
  • [SPARK-40611] [SC-113105][SQL] Leistung von setInterval und getInterval für UnsafeRow verbessert
  • [SPARK-40733] [SC-113126][SQL] Festgelegt, dass der Inhalt von SERDEPROPERTIES im Ergebnis von ShowCreateTableAsSerdeCommand eine feste Reihenfolge aufweist
  • [SPARK-40585] [SC-112180][SQL] Unterstützung doppelter Anführungszeichen
  • [SPARK-40772] [SC-112992][SQL] spark.sql.adaptive.skewJoin.skewedPartitionFactor für die Unterstützung von Double-Werten verbessert
  • [SPARK-40565] [SC-112417][SQL] Nicht deterministische Filter nicht an V2-Dateiquellen pushen
  • [SPARK-8731] [SC-112784] Beeline funktioniert nicht mit der Option -e, wenn sie im Hintergrund gestartet wird
  • [SPARK-35242] [SC-111398][SQL] Ändern der Standarddatenbank für den Sitzungskatalogs wird unterstützt
  • [SPARK-40426] [SC-110672][SQL] Zurückgeben einer Zuordnung von SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] Leistung des Codemusters keys.zipWithIndex.toMap optimiert
  • [SPARK-40521] [SC-112430][SQL] Nur vorhandene Partitionen in PartitionsAlreadyExistException aus der Hives-Erstellungspartition zurückgeben
  • [SPARK-40705] [SC-112567][SQL] Verwendung eines veränderbaren Arrays beim Konvertieren der Zeile in JSON für Scala 2.13 bearbeitet
  • [SPARK-39895] [SC-112590][SQL][PYTHON] Unterstützung mehrerer Spaltenablagen
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] Redundante Zeichenfolgeninterpolatorvorgänge entfernt
  • [SPARK-40420] [SC-112604][SC-110569][SQL] Sortierung von Fehlermeldungsparametern nach Namen in den JSON-Formaten
  • [SPARK-40403] [SC-110564][SQL] Berechnung der unsicheren Arraygröße mithilfe von Longs, um negative Größen in Fehlermeldungen zu vermeiden
  • [SPARK-40482] [SC-110831][SQL] SPARK-24544 Print actual failure cause when look up function failed wiederhergestellt
  • [SPARK-40400] [SC-112555][SC-110397][SQL] Fehlermeldungsparameter als Zuordnungen an Ausnahmen übergeben
  • [SPARK-40628] [SC-112414][SQL] Komplexe linke Semi-/Anti-Verknüpfungsbedingung nicht über ein Projekt pushen
  • [SPARK-40562] [SC-111455][SQL] spark.sql.legacy.groupingIdWithAppendedUserGroupBy hinzugefügt
  • [SPARK-40501] [SC-111333][SQL] PushProjectionThroughLimit für Optimierer hinzugefügt
  • [SPARK-39200] [SC-111244][CORE] Fallbackspeicherung als readFully für Inhalte eingestellt
  • [SPARK-38717] [SC-111241][SQL] Bearbeitung des Bucketspezifikationsfalls von Hive
  • [SPARK-40385] [SC-111123][SQL] Interpretierten Pfad für Begleitobjektkonstruktor behoben
  • [SPARK-40216] [SC-112413][SQL] Allgemeine ParquetUtils.prepareWrite-Methode zum Deduplizieren von Code in ParquetFileFormat und ParquetWrite extrahiert
  • [SPARK-40636] [SC-112160][CORE] Fehler im Shuffles-Protokoll in BlockManagerDecommissioner behoben
  • [SPARK-40617] [SC-112009] Racebedingung bei der Verarbeitung von stageTCMP-Einträgen von ExecutorMetricsPoller behoben
  • [SPARK-40618] [SC-112046][SQL] Fehler in der MergeScalarSubqueries-Regel mit geschachtelten Unterabfragen behoben
  • [SPARK-40612] [SC-111933][CORE] Prinzipal behoben, der für die Verlängerung des Delegierungstokens in Nicht-YARN-Ressourcenmanagern verwendet wird
  • [SPARK-40595] [SC-111662][SQL] Verbesserung der Fehlermeldung für nicht verwendete CTE-Beziehungen
  • [SPARK-40314] [SC-111879][SQL][PYTHON] Scala- und Python-Bindungen für inline und inline_outer hinzugefügt
  • [SPARK-40416] [SC-110945][SQL] CheckAnalysis-Fehlermeldungen des Unterabfrageausdrucks verschoben, um das neue Fehlerframework zu verwenden
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() sollte die Ausnahmen von seinem untergeordneten Element auslösen
  • [SPARK-40509] [SC-111644][SS][PYTHON] Beispiel für applyInPandasWithState hinzugefügt
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() sollte die Ausnahmen von seinem untergeordneten Element auslösen
  • [SPARK-40016] [SQL] Unnötige TryEval bei der Implementierung von try_sum() entfernt
  • [SPARK-40527] [SC-111224][SQL] Beibehalten von Strukturfeldnamen oder Zuordnungsschlüsseln in CreateStruct
  • [SPARK-38098] [SC-111178][PYTHON] Unterstützung für ArrayType von geschachteltem StructType zur Arrow-basierten Konvertierung hinzugefügt
  • [SPARK-40324] [SC-111359][SC-110293][SQL] Abfragekontext in AnalysisException bereitgestellt
  • [SPARK-40492] [SC-111324][SS] Ausführung der Wartung vor dem Entladen des Streamings von StateStore
  • [SPARK-40487] [SC-111124][SQL] Einstellung, dass defaultJoin in BroadcastNestedLoopJoinExec parallel ausgeführt wird
  • [SPARK-40474] [SC-111273][SQL] CSV-Schemarückschluss- und Datenanalyseverhalten für Spalten mit gemischten Daten und Zeitstempeln korrigiert
  • [SPARK-40508] [SC-111066][SQL] Behandeln unbekannter Partitionierung als UnknownPartitioning
  • [SPARK-40496] [SC-111234][SC-111013][SQL] Beheben von Konfigurationen zum Steuern von „enableDateTimeParsingFallback“
  • [SPARK-40435] [SC-111214][SS][PYTHON] Testsammlungen für applyInPandasWithState in PySpark hinzugefügt
  • [SPARK-40434] [SC-111125][SS][PYTHON] Implementierung von applyInPandasWithState in PySpark

Wartungsupdates

Weitere Informationen finden Sie in den Wartungsupdates für Databricks Runtime 12.0.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
Klicken 8.0.4 cryptography 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0,4 executing 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
Notebook 6.4.8 numpy 1.21.5 Packen 21,3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requests 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sechs 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 11.11.2022 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 Blob 1.2.3
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 Anmeldeinformationen 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 Evaluieren 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 Grafiken 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 Lebenszyklus 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Fortschritt 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1