Databricks Runtime 11.0 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 11.0 (unterstützt von Apache Spark 3.3.0). Databricks hat diese Images im Juni 2022 veröffentlicht.

Neue Features und Verbesserungen

Neue Version von Apache Spark

Databricks Runtime 11.0 und Databricks Runtime 11.0 Photon enthalten Apache Spark 3.3.0. Weitere Informationen finden Sie unter Apache Spark.

Python-Notebooks verwenden jetzt den IPython-Kernel.

Ab Databricks Runtime 11.0 verwenden Python-Notebooks den IPython-Kernel, um Python-Code auszuführen. Weitere Informationen finden Sie unter IPython-Kernel.

Unterstützung von ipywidgets

Sie können nun ipywidgets verwenden, um Ihre Databricks Python-Notebooks interaktiv zu machen. Weitere Informationen finden Sie unter ipywidgets.

Synapse-Connector schreibt jetzt Parquet-Daten im Nicht-Legacymodus

Der Azure Synapse-Connector schreibt jetzt Parquet-Daten im Nicht-Legacymodus. Es behält das Zeitstempelformat INT96 bei, wenn PolyBase und COPY-Befehle sowohl für Batch- als auch für Streamingworkloads verwendet werden.

HTTPS-Schema wird jetzt erzwungen, wenn der ABFS-Client SAS-Token verwendet

Wenn der ABFS-Client (Azure Blob File System) ein SAS-Token (Shared Access Signature) verwendet, wird das HTTPS-Schema jetzt erzwungen.

SQL: DESC ist jetzt ein Alias für DESCRIBE

Sie können jetzt DESC als Alias für DESCRIBE verwenden, wenn Sie externe Speicherorte oder Anmeldeinformationen für die Speicherung beschreiben. Beispiele:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Neue current_version-Funktion gibt Versionsdetails aus

Die neue current_version-Funktion gibt die aktuelle Databricks Runtime-Version (sofern verfügbar), die aktuelle Databricks SQL-Version (sofern verfügbar) und andere zugehörige Versionsdetails aus. Verwenden Sie diese neue Funktion, um versionsbezogene Informationen abzufragen. Weitere Informationen finden Sie unter der current_version-Funktion.

Ablegen einer fehlenden Delta-Tabelleneinschränkung löst nun Fehler aus

Wenn Sie versuchen, eine Delta-Tabelleneinschränkung nach Namen abzulegen, und diese Einschränkung ist nicht vorhanden ist, wird nun ein Fehler ausgelöst. Um das vorherige Verhalten zu erhalten, bei dem kein Fehler ausgelöst wurde, wenn die Einschränkung fehlt, müssen Sie jetzt die IF EXISTS-Anweisung verwenden. Weitere Informationen finden Sie unter ALTER TABLE.

SQL: Neue EXCEPT-Klausel in SELECT-Anweisung schließt Spalten aus der Auswahl aus

SELECT-Anweisungen unterstützen nun die EXCEPT-Klausel, um Spalten aus der Auswahl auszuschließen. So gibt z. B. SELECT * EXCEPT (x) FROM table alle Spalten von table zurück, außer x. Auch geschachtelte Spalten sind zulässig. SELECT * EXCEPT (x.a) FROM table gibt z. B. alle Spalten von table zurück, lässt aber das Feld a aus der Struktur x aus.

Unterstützung für das Ablegen von Spalten in Delta-Tabellen (Public Preview)

Sie können eine Spalte oder eine Liste von Spalten mit ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> oder ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) als reinen Metadatenvorgang aus einer Delta-Tabelle ablegen. Die Spalten sind tatsächlich nur „vorläufig gelöscht“, da sie sich noch in den zugrunde liegenden Parquet-Dateien befinden, aber nicht mehr für die Delta-Tabelle sichtbar sind.

Sie können mit REORG TABLE <table-name> APPLY (PURGE) das Neuschreiben aller Dateien auslösen, die vorläufig gelöschte Daten enthalten, z. B. die abgelegten Spalten.

Mit VACUUM können Sie die gelöschten Dateien aus dem physischen Speicher entfernen. Dies schließt auch die alten Dateien ein, die abgelegte Spalten enthalten und von REORG TABLE neu geschrieben wurden.

COPY INTO-Verbesserungen

Sie können jetzt leere Delta-Platzhaltertabellen erstellen, damit das Schema später während eines COPY INTO-Befehls abgeleitet wird:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Die vorherige SQL-Anweisung ist idempotent und kann so geplant werden, dass Daten genau einmal in eine Delta-Tabelle aufgenommen werden.

Hinweis

Die leere Delta-Tabelle kann außerhalb von COPY INTO nicht verwendet werden. Sie können INSERT INTO und MERGE INTO nicht verwenden, um Daten in schemafreie Delta-Tabellen zu schreiben. Nachdem Daten mit COPY INTO in die Tabelle eingefügt wurden, ist die Tabelle abfragbar.

Wenn die Daten, die Sie erfassen, aufgrund einer Beschädigung nicht gelesen werden können, können Sie beschädigte Dateien überspringen, indem Sie ignoreCorruptFiles auf true in der Option FORMAT_OPTIONS festlegen:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Der Befehl COPY INTO gibt in der Spalte num_skipped_corrupt_files die Anzahl der Dateien an, die aufgrund von Beschädigungen übersprungen wurden. Diese Metrik wird auch in der Spalte operationMetrics unter numSkippedCorruptFiles angezeigt, nachdem Sie DESCRIBE HISTORY in der Delta-Tabelle ausgeführt haben.

Beschädigte Dateien werden von COPY INTO nicht nachverfolgt, sie können also in einer nachfolgenden Ausführung erneut geladen werden, wenn die Beschädigung behoben wurde. Sie können sehen, welche Dateien beschädigt sind, indem Sie COPY INTO im VALIDATE-Modus ausführen.

CONVERT TO DELTA wird jetzt in Unity Catalog-fähigen Umgebungen unterstützt (Public Preview)

In Umgebungen, die in Unity Catalog aktiviert sind, haben Sie jetzt mit CONVERT TO DELTA die folgenden Möglichkeiten:

  • Konvertieren Sie Parquet-Dateien an externen Speicherorten in Delta Lake.
  • Konvertieren Sie externe Parquet-Tabellen in Delta-Tabellen.

Verhaltensänderungen

SQL: Die Funktionen lpad und rpad unterstützen jetzt Bytesequenzen

Die Funktionen lpad und rpad wurden aktualisiert, um zusätzlich zu Zeichenfolgen auch Bytesequenzen zu unterstützen.

Zeichenfolgenformat in format_string und printf erlaubt nicht mehr %0$

Wenn Sie das Format %0$ in den Funktionen format_string und printf angeben, wird nun standardmäßig ein Fehler ausgelöst. Mit dieser Änderung soll das erwartete Verhalten aus früheren Versionen von Databricks Runtime und gängigen Datenbanken von Drittanbietern beibehalten werden. Das erste Argument sollte immer auf %1$ verweisen, wenn Sie einen Argumentindex verwenden, um die Position des Arguments in der Argumentliste anzugeben.

NULL-Werte in CSV-Dateien werden jetzt standardmäßig als leere Zeichenfolgen ohne Anführungszeichen geschrieben.

NULL-Werte in CSV-Dateien wurden zuvor als leere Zeichenfolgen mit Anführungszeichen geschrieben. Ab diesem Release werden NULL-Werte in CSV-Dateien standardmäßig als leere Zeichenfolgen ohne Anführungszeichen geschrieben. Um das vorherige Verhalten zu nutzen, legen Sie die Option nullValue für Schreibvorgänge auf "" fest.

Tabelleneigenschaft external ist jetzt reserviert

Die external-Eigenschaft ist nun standardmäßig eine reservierte Tabelleneigenschaft. Es werden nun Ausnahmen ausgelöst, wenn Sie die external-Eigenschaft mit den Klauseln CREATE TABLE ... TBLPROPERTIES und ALTER TABLE ... SET TBLPROPERTIES verwenden.

Log4j von Log4j 1 auf Log4j 2 aktualisiert

Log4j 1 wurde auf Log4j 2 aktualisiert. Ältere Log4j 1-Abhängigkeiten werden entfernt.

Wenn Sie über Abhängigkeiten von den Log4j 1-Klassen verfügen, die zuvor in Databricks Runtime enthalten waren, sind diese Klassen nicht mehr vorhanden. Sie sollten Ihre Abhängigkeiten auf Log4j 2 aktualisieren.

Wenn Sie benutzerdefinierte Plug-Ins oder Konfigurationsdateien haben, die von Log4j 2 abhängen, funktionieren sie möglicherweise nicht mehr mit der Version von Log4j 2 in diesem Release. Wenden Sie sich an Ihr Azure Databricks-Kontoteam, falls Sie Hilfe benötigen.

Von Maven installierte Bibliotheken werden jetzt standardmäßig in Ihrer Computeebene aufgelöst

Maven-Bibliotheken werden jetzt standardmäßig in Ihrer Computeebene aufgelöst, wenn Sie Bibliotheken in einem Cluster installieren. Ihr Cluster muss Zugriff auf Maven Central haben. Alternativ können Sie auch zum vorherigen Verhalten zurückkehren, indem Sie die Spark-Konfigurationseigenschaft festlegen:

spark.databricks.libraries.enableMavenResolution false

Fehlerbehebungen

  • Die Binärkompatibilität für LeafNode, UnaryNode und BinaryNode zwischen Apache Spark und der Databricks Runtime wurde behoben und die Klassen sind jetzt mit Apache Spark 3.3.0 und höher kompatibel. Wenn Sie die folgende oder eine ähnliche Meldung erhalten, wenn Sie ein Drittanbieterpaket mit der Databricks Runtime verwenden, erstellen Sie das Paket mit Apache Spark 3.3.0 oder höher neu: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • platformdirs von 2.5.1 auf 2.5.2
    • protobuf von 3.20.0 auf 3.20.1
  • Aktualisierte R-Bibliotheken:
    • blob von 1.2.2 auf 1.2.3
    • broom von 0.7.12 auf 0.8.0
    • caret von 6.0-91 auf 6.0-92
    • cli von 3.2.0 auf 3.3.0
    • dplyr von 1.0.8 auf 1.0.9
    • future von 1.24.0 auf 1.25.0
    • future.apply von 1.8.1 auf 1.9.0
    • gert von 1.5.0 auf 1.6.0
    • ggplot2 von 3.3.5 auf 3.3.6
    • glmnet von 4.1-3 auf 4.1-4
    • haven von 2.4.3 auf 2.5.0
    • httr von 1.4.2 auf 1.4.3
    • knitr von 1.38 auf 1.39
    • magrittr von 2.0.2 auf 2.0.3
    • parallelly von 1.30.0 auf 1.31.1
    • ps von 1.6.0 auf 1.7.0
    • RColorBrewer von 1.1-2 auf 1.1-3
    • RcppEigen von 0.3.3.9.1 auf 0.3.3.9.2
    • readxl von 1.3.1 auf 1.4.0
    • rmarkdown von 2.13 auf 2.14
    • rprojroot von 2.0.2 auf 2.0.3
    • RSQLite von 2.2.11 auf 2.2.13
    • scales von 1.1.1 auf 1.2.0
    • testthat von 3.1.2 auf 3.1.4
    • tibble von 3.1.6 auf 3.1.7
    • tinytex von 0.37 auf 0.38
    • tzdb von 0.2.0 auf 0.3.0
    • uuid von 1.0-4 auf 1.1-0
    • vctrs von 0.3.8 auf 0.4.1
  • Aktualisierte Java-Bibliotheken:
    • com.fasterxml.jackson.core.jackson-annotations von 2.13.0 auf 2.13.3
    • com.fasterxml.jackson.core.jackson-core von 2.13.0 auf 2.13.3
    • com.fasterxml.jackson.core.jackson-databind von 2.13.0 aus 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor von 2.13.0 auf 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda von 2.13.0 auf 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer von 2.13.0 auf 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 von 2.13.0 auf 2.13.3
    • com.google.crypauf.tink.tink von 1.6.0 auf 1.6.1
    • com.ning.compress-lzf von 1.0.3 auf 1.1
    • dev.ludovic.netlib.arpack von 2.2.0 auf 2.2.1
    • dev.ludovic.netlib.blas von 2.2.0 auf 2.2.1
    • dev.paket.netlib.lapack von 2.2.0 auf 2.2.1
    • io.netty.netty-all von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-buffer von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-codec von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-common von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-handler von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-resolver von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-tcnative-classes von 2.0.46.Final auf 2.0.48.Final
    • io.netty.netty-transport from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-transport-classes-epoll von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 von 4.1.73.Final auf 4.1.74.Final
    • io.netty.netty-transport-native-unix-common von 4.1.73.Final auf 4.1.74.Final
    • joda-time.joda-time von 2.10.12 auf 2.10.13
    • org.apache.commons.commons-math3 von 3.4.1 auf 3.6.1
    • org.apache.httpcomponents.httpcore von 4.4.12 auf 4.4.14
    • org.apache.orc.orc-core von 1.7.3 auf 1.7.4
    • org.apache.orc.orc-mapreduce von 1.7.3 auf 1.7.4
    • org.apache.orc.orc-shims von 1.7.3 auf 1.7.4
    • org.eclipse.jetty.jetty-client von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet von 9.4.43.v20210629 auf 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client von 2.2.5 auf 2.7.4
    • org.postgresql.postgresql von 42.2.19 auf 42.3.3
    • org.roaringbitmap.RoaringBitmap von 0.9.23 auf 0.9.25
    • org.roaringbitmap.shims von 0.9.23 auf 0.9.25
    • org.rocksdb.rocksdbjni von 6.20.3 auf 6.24.2
    • org.slf4j.jcl-over-slf4j von 1.7.32 auf 1.7.36
    • org.slf4j.jul-to-slf4j von 1.7.32 auf 1.7.36
    • org.slf4j.slf4j-api von 1.7.30 auf 1.7.36

Apache Spark

Databricks Runtime 11.0 enthält Apache Spark 3.3.0.

Inhalt dieses Abschnitts:

Spark SQL und Core

ANSI-Modus

  • Neue explizite Umwandlungssyntaxregeln im ANSI-Modus (SPARK-33354)
  • Elt() sollte NULL zurückgeben, wenn der Index im ANSI-Modus NULL ist (SPARK-38304)
  • Optionale Rückgabe von NULL-Ergebnis, falls Element nicht in Array/Zuordnung vorhanden (SPARK-37750)
  • Umwandlung zwischen numerischem Typ und Zeitstempeltyp zulassen (SPARK-37714)
  • ANSI-reservierte Schlüsselwörter standardmäßig deaktivieren (SPARK-37724)
  • Speicherzuweisungsregeln zum Auflösen von Funktionsaufrufen verwenden (SPARK-37438)
  • Konfiguration hinzufügen, die die Umwandlung zwischen „Datetime“ und „Numeric“ gestattet (SPARK-37179)
  • Konfiguration zum optionalen Erzwingen von reservierten ANSI-Schlüsselwörtern hinzufügen (SPARK-37133)
  • Binäre Vorgänge zwischen Intervall und Zeichenfolgenliteral nicht zulassen (SPARK-36508)

Featureverbesserungen

  • Unterstützung von ANSI SQL INTERVAL-Typen (SPARK-27790)
  • Verbesserungen bei Fehlermeldungen (SPARK-38781)
  • Unterstützung für ausgeblendete Dateimetadaten für Spark SQL (SPARK-37273)
  • Unterstützung für unformatierte Zeichenfolgenliterale (SPARK-36371)
  • Hilfsklasse für Dataset.observ() im Batch (SPARK-34806)
  • Spezifische anfängliche Partitionsnummer als Ausgleich unterstützen (SPARK-38410)
  • Überlappungsmodus für dropNamespace-API unterstützen (SPARK-37929)
  • Speicherzuweisung und implizite Umwandlung zwischen datetime-Typen zulassen (SPARK-37707)
  • „Collect“, „First“ und „Last“ sollten deterministische Aggregatfunktionen sein (SPARK-32940)
  • ExpressionBuilder für Funktionen mit komplexen Überladungen hinzufügen (SPARK-37164)
  • Arrayunterstützung zur Union nach Namen hinzufügen (SPARK-36546)
  • df.withMetadata hinzufügen, eine Syntaxform für die Aktualisierung der Metadaten eines DataFrame (SPARK-36642)
  • Unterstützung für unformatierte Zeichenfolgenliterale (SPARK-36371)
  • CAST bei der Analyse von Datumsangaben/Zeitstempeln mit Standardmustern verwenden (SPARK-36418)
  • Wertklasse im geschachtelten Schema für Dataset unterstützen (SPARK-20384)
  • Unterstützung der AS OF-Syntax hinzufügen (SPARK-37219)
  • REPEATABLE in TABLESAMPLE hinzufügen, um Seed anzugeben (SPARK-37165)
  • ANSI-Syntax set catalog xxx zum Ändern des aktuellen Katalogs hinzufügen (SPARK-36841)
  • ILIKE (ALL | ANY | SOME) (LIKE ohne Berücksichtigung von Groß-/Kleinschreibung) unterstützen (SPARK-36674, SPARK-36736, SPARK-36778)
  • In der Supportabfragephase Laufzeitstatistiken im formatierten Explain-Modus anzeigen (SPARK-38322)
  • Metriken der Überlaufgröße für Sort Merge Join hinzufügen (SPARK-37726)
  • SQL-Syntax von SHOW FUNCTIONS aktualisieren (SPARK-37777)
  • DROP COLUMN [IF EXISTS]-Syntax unterstützen (SPARK-38939)
  • Neue integrierte Funktionen und ihre Erweiterungen (SPARK-38783)
    • Datetime
    • AES-Funktionen (SPARK-12567)
      • Integrierte Funktionen aes_encrypt und aes_decrypt hinzufügen (SPARK-12567)
      • Unterstützung für GCM-Modus durch aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • GCM als Standardmodus in aes\_encrypt()/aes\_decrypt() festlegen (SPARK-37666)
      • Argumente mode und padding in aes\_encrypt()/aes\_decrypt() hinzufügen (SPARK-37586)
    • ANSI-Aggregationsfunktion (SPARK-37671)
      • Unterstützung von ANSI-Aggregatfunktion: regr_count (SPARK-37613)
      • Unterstützung von ANSI-Aggregatfunktion: regr_avgx und regr_avgy (SPARK-37614)
      • Unterstützung von ANSI-Aggregationsfunktion: percentile_cont (SPARK-37676, SPARK-38219)
      • Unterstützung von ANSI-Aggregationsfunktion: percentile_disc (SPARK-37691)
      • Unterstützung von ANSI-Aggregatfunktion: regr_count (SPARK-37613)
      • Unterstützung von ANSI-Aggregationsfunktion: array_agg (SPARK-27974)
      • Unterstützung von ANSI-Aggregationsfunktion: regr_r2 (SPARK-37641)
      • Neue SQL-Funktion: try_avg (SPARK-38589)
    • Auflistungen
    • Format
    • Zeichenfolge/Binär
      • CONTAINS()-Zeichenfolgenfunktion hinzufügen (SPARK-37508)
      • Zeichenfolgenfunktionen startswith() und endswith() hinzufügen (SPARK-37520)
      • Funktionen lpad und rpad für Binärzeichenfolgen hinzufügen (SPARK-37047)
      • Unterstützung für split_part-Funktion (SPARK-38063)
    • Skalierungsparameter in Funktionen floor und ceil hinzufügen (SPARK-37475)
    • Neue SQL-Funktionen: try_subtract und try_multiply (SPARK-38164)
    • Aggregationsfunktion histogram_numeric implementieren, die eine partielle Aggregation unterstützt (SPARK-16280)
    • max_by/min_by in sql.functions hinzufügen (SPARK-36963)
    • Neue integrierte SQL-Funktionen hinzufügen: SEC und CSC (SPARK-36683)
    • array_intersect behandelt doppelte Double.NaN und Float.NaN (SPARK-36754)
    • cot als Scala- und Python-Funktionen hinzufügen (SPARK-36660)

Leistungsverbesserungen

  • Codegenerierung für die gesamte Phase
    • Codegenerierung für das Sortieren von Aggregaten ohne Gruppierungsschlüssel hinzufügen (SPARK-37564)
    • Codegenerierung für vollständigen äußeren Sort-Merge-Join hinzufügen (SPARK-35352)
    • Codegenerierung für vollständigen äußeren gemischten Hashjoin hinzufügen (SPARK-32567)
    • Codegenerierung für bestehenden Sort-Merge-Join hinzufügen (SPARK-37316)
  • Pushdown (Filter)
    • Filter-Pushdown durch RebalancePartitions (SPARK-37828)
    • Filter-Pushdown für boolesche Spalten (SPARK-36644)
    • Pushdowngrenzwert von 1 für rechte Seite von linkem SEMI-/ANTI-Join, wenn die Joinbedingung leer ist (SPARK-37917)
    • Weitere Standardaggregatfunktionen für Pushdown übersetzen (SPARK-37527)
    • Weitergabe einer leeren Beziehung durch Aggregat/Union unterstützen (SPARK-35442)
    • Laufzeitfilterung auf Zeilenebene (SPARK-32268)
    • Left Semi Join in Laufzeitfiltern auf Zeilenebene unterstützen (SPARK-38565)
    • Prädikat-Pushdowns und Spaltenbereinigung für deduplizierte CTEs unterstützen (SPARK-37670)
  • Vektorisierung
    • ConstantColumnVector implementieren und Leistung der ausgeblendeten Dateimetadaten verbessern (SPARK-37896)
    • Vektorisierten Lesemodus für VectorizedPlainValuesReader.readBooleans aktivieren (SPARK-35867)
  • Kombinieren/Entfernen/Ersetzen von Knoten
    • Vereinigungen kombinieren, wenn es ein Projekt zwischen ihnen gibt (SPARK-37915)
    • Zu einer Umwandlung kombinieren, wenn zwei Umwandlungen sicher nach oben übertragen werden können (SPARK-37922)
    • Sort entfernen, wenn es RepartitionByExpression untergeordnet ist (SPARK-36703)
    • Äußeren Join entfernen, wenn er auf der gestreamten Seite nur über DISTINCT mit Alias verfügt (SPARK-37292)
    • Hash durch Sortieraggregation ersetzen, wenn das untergeordnete Element bereits sortiert ist (SPARK-37455)
    • Projekte nur reduzieren, wenn ressourcenintensive Ausdrücke nicht dupliziert werden (SPARK-36718)
    • Redundante Aliase nach RewritePredicateSubquery entfernen (SPARK-36280)
    • Nicht korrelierte skalare Unterabfragen zusammenführen (SPARK-34079)
  • Partitionierung
    • Keine dynamische Partitionsbereinigung hinzufügen, wenn eine statische Partitionsbereinigung vorhanden ist (SPARK-38148)
    • RebalancePartitions in Regeln des Optimierers verbessern (SPARK-37904)
    • Kleinen Partitionsfaktor für die erneute Verteilung von Partitionen hinzufügen (SPARK-37357)
  • Join
    • Logik zum Herabstufen des Broadcast-Hashjoins in DynamicJoinSelection optimieren (SPARK-37753)
    • Doppelte Joinschlüssel beim Erstellen einer Beziehung für gemischte SEMI-/ANTI-Hashjoins ignorieren (SPARK-36794)
    • Optimierte Skew Joins unterstützen, auch wenn zusätzliches Shuffling entsteht (SPARK-33832)
  • AQE
    • Entfernung von Grenzwerten im AQE-Optimierer unterstützen (SPARK-36424)
    • Einen Zeilenplan im normalen und AQE-Optimierer optimieren (SPARK-38162)
  • Aggregate.groupOnly sollte faltbare Ausdrücke unterstützen (SPARK-38489)
  • ByteArrayMethods arrayEquals sollte die Überprüfung der Ausrichtung bei nicht ausgerichteten Plattformen schnell überspringen (SPARK-37796)
  • Strukturmusterbereinigung in CTESubstitution-Regel hinzufügen (SPARK-37379)
  • NOT-Operator weiter vereinfachen (SPARK-36665)
  • BooleanType in UnwrapCastInBinaryComparison unterstützen (SPARK-36607)
  • Gemeinsames Verwerfen aller Ausdrücke nach dem ersten keine Nullwerte zulassenden Ausdruck (SPARK-36359)
  • Logischen Planbesucher hinzufügen, um die unterschiedlichen Attribute weiterzugeben (SPARK-36194)

Erweiterungen des integrierten Connectors

  • Allgemein
    • Vorsichtige Serialisierung von datetime-Werten in der Datenquelle (SPARK-38437)
    • Tabellenposition als absolut behandeln, wenn der erste Buchstabe des Pfads in CREATE/ALTER TABLE ein Schrägstrich ist (SPARK-38236)
    • Führende Nullen aus einer leeren Partition mit statischen Zahlentypen entfernen (SPARK-35561)
    • ignoreCorruptFiles und ignoreMissingFiles in Datenquellenoptionen unterstützen (SPARK-38767)
    • Befehl SHOW CATALOGS hinzufügen (SPARK-35973)
  • Parquet
    • Abgleich von Schemaspaltennamen mit Feld-IDs aktivieren (SPARK-38094)
    • Prüffeldname beim Lesen/Schreiben von Daten in Parquet entfernen (SPARK-27442)
    • Unterstützung für vektorisierte boolesche Lesewerte, die RLE-Codierung mit Parquet DataPage v2 verwenden (SPARK-37864)
    • Parquet v2-Datenseitencodierung (DELTA_BINARY_PACKED) für vektorisierten Pfad unterstützen (SPARK-36879)
    • Rebase von Zeitstempeln in der Sitzungszeitzone ausführen, die in Parquet/Avro-Metadaten gespeichert ist (SPARK-37705)
    • Gruppen-Pushdown nach Partitionsspalte für Aggregat (SPARK-36646)
    • Aggregat-Pushdown (Min/Max/Count) für Parquet (SPARK-36645)
    • Parquet: Abgleich von Schemaspalten nach Feld-ID aktivieren (SPARK-38094)
    • Standardseitengröße um LONG_ARRAY_OFFSET reduzieren, wenn G1GC und ON_HEAP verwendet werden (SPARK-37593)
    • Vektorisierte Codierungen DELTA_BYTE_ARRAY und DELTA_LENGTH_BYTE_ARRAY für die Unterstützung von Parquet v2 implementieren (SPARK-37974)
    • Unterstützung komplexer Typen für vektorisierten Parquet-Leser (SPARK-34863)
  • ORC
    • Prüffeldname beim Lesen/Schreiben vorhandener Daten in Orc entfernen (SPARK-37965)
    • Aggregat-Pushdown für ORC (SPARK-34960)
    • Lesen und Schreiben von ANSI-Intervallen aus und in ORC-Datenquellen unterstützen (SPARK-36931)
    • Nur aus Zahlen bestehende Spaltennamen in ORC-Datenquellen unterstützen (SPARK-36663)
  • JSON
    • allowNonNumericNumbers beim Analysieren von NaN- und Infinity-Werten in Anführungszeichen im JSON-Leser berücksichtigen (SPARK-38060)
    • CAST für datetime-Werte in CSV/JSON standardmäßig verwenden (SPARK-36536)
    • Fehlermeldung für nicht unterstützte Schlüsseltypen in MapType im JSON-Leser ausrichten (SPARK-35320)
  • CSV
    • Verweis auf beschädigte Datensatzspalte in CSV korrigieren (SPARK-38534)
    • NULL-Werte sollten standardmäßig als Nichts und nicht als leere Zeichenfolgen in Anführungszeichen („“) gespeichert werden (SPARK-37575)
  • JDBC
    • IMMEDIATE-Anweisung zur Implementierung von TRUNCATE im DB2-Dialekt hinzufügen (SPARK-30062)
  • Hive
    • Schreiben von Hive-Buckettabellen unterstützen (Hive-Dateiformate mit Hive-Hash) (SPARK-32712)
    • Ausdrücke verwenden, um Hive-Partitionen auf Clientseite zu filtern (SPARK-35437)
    • Dynamischen Partitionsbereinigung für HiveTableScanExec unterstützen (SPARK-36876)
    • InsertIntoHiveDir sollte die Datenquelle verwenden, wenn sie konvertierbar ist (SPARK-38215)
    • Schreiben in Hive-Buckettabellen unterstützen (Parquet-/ORC-Format mit Hive-Hash) (SPARK-32709)

Außerbetriebsetzung von Knoten

  • FallbackStorage sollte nicht versuchen, beliebige „Remote“-Hostnamen aufzulösen (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved sollte ExecutorDecommission als abgeschlossen behandeln (SPARK-38023)

Weitere wichtige Änderungen

  • Präzisere Sperren für BlockInfoManager hinzufügen (SPARK-37356)
  • Zuordnen von Spark gpu/fpga-Ressourcentypen zu benutzerdefinierten YARN-Ressourcentyp unterstützen (SPARK-37208)
  • Bei Scherung genaue Shuffle-Blockgröße melden (SPARK-36967)
  • Netty-Protokollierung auf Netzwerkebene unterstützen (SPARK-36719)

Strukturiertes Streaming

Hauptfeatures

  • Trigger.AvailableNow zum Ausführen von Streamingabfragen wie Trigger.Once in mehreren Batches einführen (SPARK-36533)

Weitere wichtige Änderungen

  • StatefulOpClusteredDistribution für zustandsbehaftete Operatoren für Abwärtskompatibilität verwenden (SPARK-38204)
  • flatMapGroupsWithState-Timeout in Batch mit Daten für Schlüssel korrigieren (SPARK-38320)
  • Genauigkeitsproblem bei äußerer Verknüpfung zwischen Datenströmen mit RocksDB-Anbieter für Zustandsspeicher korrigieren (SPARK-38684)
  • Trigger.AvailableNow in Kafka-Datenquelle unterstützen (SPARK-36649)
  • Schreibpfad des RocksDB-Zustandsspeicheranbieters optimieren (SPARK-37224)
  • Neue Datenquelle für die Bereitstellung konsistenter Zeilen pro Microbatch einführen (SPARK-37062)
  • HashClusteredDistribution für zustandsbehaftete Operatoren für Abwärtskompatibilität verwenden (SPARK-38204)

PySpark

Pandas-API in Spark

Wichtige Verbesserungen
  • distributed-sequence-Indexoptimierung als Standard (SPARK-36559, SPARK-36338)
    • Angabe von Indextyp und -name in der pandas-API für Spark unterstützen (SPARK-36709)
    • Standardindextyp in SQL-Plänen für pandas-API für Spark anzeigen (SPARK-38654)
Hauptfeatures
  • SparkSQL-natives ps.merge_asof implementieren (SPARK-36813)
  • TimedeltaIndex in pandas-API für Spark unterstützen (SPARK-37525)
  • timedelta aus Python unterstützen (SPARK-37275, SPARK-37510)
  • Funktionen in CategoricalAccessor/CategoricalIndex implementieren (SPARK-36185)
  • Standardzeichenfolgenformatierer von Python für SQL-API in der pandas-API für Spark verwenden (SPARK-37436)
  • Grundlegende Vorgänge mit timedelta-Serie/-Index unterstützen (SPARK-37510)
  • ps.MultiIndex.dtypes unterstützen (SPARK-36930)
  • Index.map implementieren (SPARK-36469)
  • Series.xor und Series.rxor implementieren (SPARK-36653)
  • Unären Operator invert aus integraler ps.Series/Index implementieren (SPARK-36003)
  • DataFrame.cov implementieren (SPARK-36396)
  • str und timestamp für (Series| DataFrame).describe() unterstützen (SPARK-37657)
  • Lambdaparameter column von DataFrame.rename unterstützen (SPARK-38763)

Weitere wichtige Änderungen

Wichtige Änderungen
  • Verweise auf Python 3.6-Unterstützung aus Dokumentation und python/docs entfernen (SPARK-36977)
  • namedtuple-Umgehung durch Ersetzen der integrierten pickle-Funktion durch cloudpickle entfernen (SPARK-32079)
  • Mindestversion von pandas auf 1.0.5 festlegen (SPARK-37465)
  • Wichtige Verbesserungen
    • Profiler für Python-/pandas-UDFs bereitstellen (SPARK-37443)
    • Standardzeichenfolgenformatierer von Python für SQL-API in PySpark verwenden (SPARK-37516)
    • SQL-Zustands- und -Fehlerklasse in PySpark-Ausnahmen verfügbar machen (SPARK-36953)
    • Fehlerhandler versuchen zu erfassen, wenn ein Python-Worker abstürzt (SPARK-36062)
Hauptfeatures
  • DataFrame.mapInArrow in Python implementieren (SPARK-37228)
  • Standardzeichenfolgenformatierer von Python für SQL-API in PySpark verwenden (SPARK-37516)
  • df.withMetadata in pyspark-API hinzufügen (SPARK-36642)
  • timedelta aus Python unterstützen (SPARK-37275)
  • tableExists in pyspark.sql.catalog verfügbar machen (SPARK-36176)
  • databaseExists in pyspark.sql.catalog verfügbar machen (SPARK-36207)
  • functionExists in pyspark.sql.catalog verfügbar machen (SPARK-36258)
  • Dataframe.observation in PySpark hinzufügen (SPARK-36263)
  • max_by-/min_by-API in PySpark hinzufügen (SPARK-36972)
  • Rückschlüsse von geschachteltem Wörterbuch als Struktur beim Erstellen eines DataFrame unterstützen (SPARK-35929)
  • bit-/octet_length-APIs in Scala, Python und R hinzufügen (SPARK-36751)
  • ILIKE-API in Python unterstützen (SPARK-36882)
  • isEmpty-Methode für die Python-DataFrame-API hinzufügen (SPARK-37207)
  • Hinzufügen mehrerer Spalten unterstützen (SPARK-35173)
  • SparkContext.addArchive in PySpark hinzufügen (SPARK-38278)
  • SQL-Typdarstellungen evaluierungsfähig machen (SPARK-18621)
  • Inlinetyphinweise für fpm.py in Python/PySpark/mllib (SPARK-37396)
  • dropna-Parameter von SeriesGroupBy.value_counts implementieren (SPARK-38837)

MLLIB

Hauptfeatures

  • distanceMeasure-Parameter in trainKMeansModel hinzufügen (SPARK-37118)
  • LogisticRegression.setInitialModel wie KMeans verfügbar machen (SPARK-36481)
  • Abrufen der Standardabweichung von Metriken durch CrossValidatorModel für jede paramMap unterstützen (SPARK-36425)

Wichtige Verbesserungen

  • Einige treeAggregates in MLlib durch verzögerte Zuordnungen optimieren (SPARK-35848)
  • _shared_params_code_gen.py für Inlinetyphinweise für ml/param/shared.py neu schreiben (SPARK-37419)

Weitere wichtige Änderungen

SparkR

UI

  • Zusammenfassung von Spekulationsmetriken auf Stagingebene (SPARK-36038)
  • Lesezeit für gemischte Blöcke vereinheitlichen, um die Wartezeit beim Fetchen in StagePage zu mischen (SPARK-37469)
  • Geänderte Konfigurationen für SQL-Ausführungen auf der Benutzeroberfläche hinzufügen (SPARK-34735)
  • ThriftServer soll spark.sql.redaction.string.regex erkennen (SPARK-36400)
  • Handler nach Start der Anwendung auf der Benutzeroberfläche anfügen und starten (SPARK-36237)
  • Commitdauer zu Diagrammknoten auf der SQL-Registerkarte hinzufügen (SPARK-34399)
  • RocksDB-Back-End in Spark History Server unterstützen (SPARK-37680)
  • Optionen für die pandas-API für Spark auf der Benutzeroberfläche anzeigen (SPARK-38656)
  • „SQL“ auf der Seite der SQL-Benutzeroberfläche in „SQL/DataFrame“ umbenennen (SPARK-38657)

Entwickeln

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 11.0 (ohne Support).

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 Notebook 6.4.5
numpy 1.20.3 Packen 21.0 Pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 requests 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 sechs 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlets 5.1.0 unattended-upgrades 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 06.05.2022 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.8.0
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 Anmeldeinformationen 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 Evaluieren 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.25.0
future.apply 1.9.0 gargle 1.2.0 generics 0.1.2
gert 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 Grafiken 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.5.0
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ids 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.6.10 Lebenszyklus 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1.1
MASS 7.3-56 Matrix 1.4-1 memoise 2.0.1
methods 4.1.3 mgcv 1.8-40 mime 0,12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 parallelly 1.31.1
pillar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 prodlim 2019.11.13 Fortschritt 1.2.2
progressr 0.10.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-26 ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recipes 0.2.0 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.2 reprex 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
sass 0.4.1 scales 1.2.0 selectr 0.4-2
sessioninfo 1.2.2 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
spatial 7.3-11 splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,38
tools 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1