Freigeben über

Databricks Runtime 15.3

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 15.3, unterstützt von Apache Spark 3.5.0.

Dieses Image wurde von Databricks im Juni 2024 veröffentlicht.

Tipp

Hinweise zu Databricks-Runtime-Versionen, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zu Databricks Runtime am Ende des Supports. Die EoS-Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

Neue Features und Verbesserungen

Unterstützung von Lesen von und Schreiben in Streams durch PySpark DataSources

PySpark DataSources ermöglichen das Lesen aus benutzerdefinierten Datenquellen und Schreiben in benutzerdefinierte Datensenken und unterstützen nun das Lesen aus und Schreiben in Streams. Weitere Informationen finden Sie unter Benutzerdefinierte PySpark-Datenquellen.

Deaktivieren der Spaltenzuordnung mit Drop-Feature

Sie können jetzt DROP FEATURE benutzen, um die Spaltenzuordnung in Delta-Tabellen zu deaktivieren und das Tabellenprotokoll herabzustufen. Siehe Spaltenzuordnung deaktivieren.

Syntax und Funktionen des Variant-Typs in der öffentlichen Vorschau

Native Apache Spark-Unterstützung für die Arbeit mit halbstrukturierten Daten als VARIANT Typ ist jetzt in Spark DataFrames und SQL verfügbar. Siehe Abfragevariantendaten.

Variant-Typunterstützung für Delta Lake in der öffentlichen Vorschauversion

Sie können jetzt VARIANT benutzen, um halbstrukturierte Daten in Tabellen zu speichern, die von Delta Lake unterstützt werden. Siehe Unterstützung von Varianten im Delta Lake.

Unterstützung für verschiedene Modi der Schemaentwicklung in Ansichten

Mit CREATE VIEW und ALTER VIEW können Sie jetzt einen Schemabindungsmodus festlegen und verbessern, wie Ansichten Schemaänderungen in zugrunde liegenden Objekten behandeln. Dieses Feature ermöglicht es Ansichten, Schemaänderungen in den zugrunde liegenden Objekten zu tolerieren oder anzupassen. Es behandelt Änderungen im Abfrageschema, die sich aus Änderungen an Objektdefinitionen ergeben.

Unterstützung für observe() Methoden, die dem Spark Connect Scala-Client hinzugefügt werden

Der Spark Connect Scala-Client unterstützt jetzt die Dataset.observe() Methoden. Die Unterstützung für diese Methoden ermöglicht es Ihnen, Metriken zu definieren, die für ein Dataset Objekt mithilfe der ds.observe("name", metrics...) oder ds.observe(observationObject, metrics...) Methoden beobachtet werden sollen.

Verbesserte Latenz des Datenstromneustarts für das automatische Laden

Diese Version enthält eine Änderung, die die Latenz des Datenstromneustarts für das automatische Laden verbessert. Diese Verbesserung wird implementiert, indem das Laden des Zustands durch den RocksDB-Zustandsspeicher asynchron wird. Mit dieser Änderung sollten Sie eine Verbesserung der Startzeiten für Datenströme mit großen Zuständen sehen, z. B. Datenströme mit einer großen Anzahl bereits aufgenommener Dateien.

Zurückgeben eines DataFrame als pyarrow.Table

Um das direkte Schreiben eines DataFrame in ein Apache Arrow pyarrow.Table-Objekt zu unterstützen, enthält dieser Release die DataFrame.toArrow()-Funktion. Weitere Informationen zur Verwendung von Arrow in PySpark finden Sie unter Apache Arrow in PySpark.

Leistungsverbesserungen für einige Fensterfunktionen

Dieser Release enthält eine Änderung, die die Leistung einiger Spark-Fensterfunktionen verbessert, insbesondere Funktionen, die keine ORDER BY-Klausel und keinen window_frame-Parameter enthalten. In diesen Fällen kann das System die Abfrage neu schreiben, um sie mit einer Aggregatfunktion auszuführen. Mit dieser Änderung kann die Abfrage schneller ausgeführt werden, indem eine partielle Aggregation verwendet wird und Mehraufwand durch ausgeführte Fensterfunktionen vermieden wird. Der Spark-Konfigurationsparameter spark.databricks.optimizer.replaceWindowsWithAggregates.enabled steuert diese Optimierung und ist standardmäßig auf true festgelegt. Um diese Optimierung zu deaktivieren, legen Sie spark.databricks.optimizer.replaceWindowsWithAggregates.enabled auf false fest.

Unterstützung für die try_mod-Funktion hinzugefügt

Mit diesem Release wird Unterstützung für die PySpark try_mod()-Funktion hinzugefügt. Diese Funktion unterstützt die ANSI SQL-kompatible Berechnung des ganzzahligen Rests der Division zweier numerischer Werte. Wenn das Divisor-Argument 0 ist, gibt die try_mod()-Funktion null zurück, anstatt eine Ausnahme auszulösen. Sie können die try_mod()-Funktion anstelle von mod oder % verwenden, die eine Ausnahme auslösen, wenn das Divisor-Argument 0 und ANSI SQL aktiviert ist.

Unterstützung für einen optionalen Bereichsparameter in list_secrets()

Mit diesem Release können Sie die Ergebnisse der Tabellenfunktion list_secrets() auf einen bestimmten Bereich beschränken.

Fehlerkorrekturen

WriteIntoDeltaCommand Metriken in der Spark-Benutzeroberfläche werden jetzt ordnungsgemäß angezeigt

Diese Version enthält eine Lösung für die Metriken, die auf der Registerkarte SQL der Spark-Benutzeroberfläche für den Execute WriteIntoDeltaCommand Knoten angezeigt werden. Zuvor waren die für diesen Knoten angezeigten Metriken alle null.

Die groupby()-Funktion in der Pandas-API hat das as_index=False-Argument ignoriert

Dieser Release enthält eine Lösung für ein Problem mit der groupby()-Funktion in der Pandas-API auf Spark. Vor diesem Fix enthielten eine groupby() mit neuer Bezeichnung der Aggregatspalten und das as_index=False-Argument keine Gruppenschlüssel im resultierenden DataFrame.

Analysefehler bei mehreren Fensterfunktionen, die auf die Ausgabe der anderen Funktionen verweisen

Diese Version behebt ein Problem, das auftreten kann, wenn eine Spark-Abfrage über mehrere aufeinander folgende Fensterfunktionen verfügt, wobei die Fensterfunktionen auf die Ausgabe der anderen Fensterfunktionen verweisen. In seltenen Fällen kann das System einen der Verweise weglassen, was zu Fehlern bei der Auswertung der Abfrage führt. Mit diesem Fix werden diese Verweise projiziert, um die Abfrageauswertung sicherzustellen. Diese Änderung wird durch den Spark-Konfigurationsparameter spark.databricks.optimizer.collapseWindows.projectReferences gesteuert, der standardmäßig auf true festgelegt ist. Um diese Änderung zu deaktivieren, legen Sie spark.databricks.optimizer.collapseWindows.projectReferences auf false fest.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • filelock von 3.13.1 auf 3.13.4
  • Aktualisierte R-Bibliotheken:
  • Aktualisierte Java-Bibliotheken:
    • org.rocksdb.rocksdbjni von 8.3.2 auf 8.11.4

Apache Spark

Databricks Runtime 15.3 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 15.2 enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

  • [SPARK-48211] [DBRRM-1041] [15.x] [15.3] "[SC-165552][SQL] DB2: SMALLINT als Sho lesen...
  • [SPARK-47904] [DBRRM-1040][VERHALTEN-33][SC-163409] Revert SPARK-47904: Preserve case in Avro schema when using enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Hinzufügen des Quelldatentyps für den Verbinder-Umwandlungsausdruck
  • [SPARK-48175] [SC-166341][SQL][PYTHON] Speichern von Sortierungsinformationen in Metadaten und nicht im Typ für SER/DE
  • [SPARK-48172] [SC-166078][SQL] Beheben von Escape-Problemen in JDBCDialects
  • [SPARK-48186] [SC-165544][SQL] Hinzufügen von Unterstützung für AbstractMapType
  • [SPARK-48031] [SC-166523] Vorgängeransichten für SCHEMA BINDING
  • [SPARK-48369] [SC-166566][SQL] [PYTHON][CONNECT] Funktion hinzufügen timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] Beheben des Problems mit dem Timeout der Python-Streamingdatenquelle für ein großes Triggerintervall
  • [SPARK-48369] Wiederherstellen von "[SC-166494][SQL][PYTHON][CONNECT] Funktion timestamp_add hinzufügen"
  • [SPARK-48336] [SC-166495] [PS] [CONNECT] ps.sql in Spark Connect implementieren
  • [SPARK-48369] [SC-166494] [SQL] [PYTHON] [CONNECT] Funktion timestamp_add hinzufügen
  • [SPARK-47354] [SC-165546] [SQL] Hinzufügen der Sortierunterstützung für Variantenausdrücke
  • [SPARK-48161] [SC-165325] [SQL] Umgekehrte PRbeheben – Hinzufügen der Sortierungsunterstützung für JSON-Ausdrücke
  • [SPARK-48031] [SC-166391] Zerlegen von viewSchemaMode-Konfiguration und Hinzufügen von SHOW CREATE TABLE-Unterstützung
  • [SPARK-48268] [SC-166217][CORE] Konfiguration für SparkContext.setCheckpointDir hinzufügen
  • [SPARK-48312] [ES-1076198][SQL] Leistung von Alias.removeNonInheritableMetadata verbessern
  • [SPARK-48294] [SC-166205] [SQL] Behandeln von Kleinbuchstaben in nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][SQL] Zuweisen von Namen zu Fehlerklassen _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749] [SQL] Zuweisen von Namen zu Fehlerklassen _LEGACY_ERROR_TEMP_323[6-7] und _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239] [PYTHON] [CONNECT] Zwischengespeicherte Eigenschaften müssen Kopien zurückgeben
  • [SPARK-48308] [SC-166152] [Kern] Vereinheitlichen des Datenschemas ohne Partitionsspalten in FileSourceStrategy
  • [SPARK-48301] [SC-166143][SQL] CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE in CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE umbenennen
  • [SPARK-48287] [SC-166139] [PS] [CONNECT] Anwenden der integrierten timestamp_diff Methode
  • [SPARK-47607] [SC-166129] Hinzufügen von Dokumentationen für das Framework für strukturierte Protokollierung
  • [SPARK-48297] [SC-166136] [SQL] Beheben einer Regressions-TRANSFORM-Klausel mit Char/varchar
  • [SPARK-47045] [SC-156808][SQL] Ersetzen von IllegalArgumentException durch SparkIllegalArgumentException in sql/api
  • [SPARK-46991] [SC-156399][SQL] Ersetzen von IllegalArgumentException durch SparkIllegalArgumentException in catalyst
  • [SPARK-48031] [SC-165805] [SQL] Unterstützung der Ansichtsschemaentwicklung
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] Hinzufügen der fehlenden __repr__ Methode für SQLExpression
  • [SPARK-48278] [SC-166071] [PYTHON] [CONNECT] Verfeinern der Zeichenfolgendarstellung von Cast
  • [SPARK-48272] [SC-166069] [SQL] [PYTHON] [CONNECT] Funktion timestamp_diff hinzufügen
  • [SPARK-47798] [SC-162492] [SQL] Erweitern der Fehlermeldung für die Lesefehler von Dezimalwerten
  • [SPARK-47158] [SC-158078] [SQL] Zuweisen des richtigen Namens und sqlState zu _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082] [CORE] TransportClientFactory.createClient kann NPE verursachen FetchFailedException
  • [SPARK-48277] [SC-166066] Fehlermeldung für ErrorClassesJsonReader.getErrorMessage verbessern
  • [SPARK-47545] [SC-165444] [CONNECT] Datasetunterstützung observe für den Scala-Client
  • [SPARK-48954] [SC-171672][SQL] try_mod-Funktion hinzufügen
  • 02[SPARK-43258] [SC-158151][SQL] Zuweisung von Namen zum Fehler _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903] [SS] Regression e2e Test mit SPARK-47305
  • [SPARK-48263] [SC-165925] Sortierfunktionsunterstützung für nicht UTF8_BINARY Zeichenfolgen
  • [SPARK-48260] [SC-165883] [SQL] Deaktivieren der Output Committer-Koordination in einem Test von LaminatIOSuite
  • [SPARK-47834] [SC-165645] [SQL] [CONNECT] Veraltete Funktionen mit @deprecated in SQLImplicits markieren
  • [SPARK-48011] [SC-164061] [Kern] LogKey-Name als Wert speichern, um das Generieren neuer Zeichenfolgeninstanzen zu vermeiden
  • [SPARK-48074] [SC-164647] [Kern] Verbessern der Lesbarkeit von JSON-Protokollierungen
  • [SPARK-44953] [SC-165866] [CORE] Protokollieren einer Warnung, wenn die Shuffle-Nachverfolgung parallel zu einem anderen unterstützten DA-Mechanismus aktiviert ist
  • [SPARK-48266] [SC-165897] [CONNECT] Verschieben des Paketobjekts org.apache.spark.sql.connect.dsl in das Testverzeichnis
  • [SPARK-47847] [SC-165651][CORE] spark.network.remoteReadNioBufferConversion veraltet
  • [SPARK-48171] [SC-165178] [CORE] Bereinigen der Verwendung veralteter Konstruktoren von o.rocksdb.Logger
  • [SPARK-48235] [SC-165669] [SQL] Direktes Übergeben der Verknüpfung anstelle aller Argumente zum getBroadcastBuildSide und getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648] [SQL] Zuordnen von Schlüsseln vom Typ "Variante" nicht zulassen
  • [SPARK-48248] [SC-165791] [PYTHON] Beheben von geschachtelten Arrays zur Achtung der legacy-conf von inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568] [SQL] Unterstützung für die Sortierung für den StringTrim-Typ von Funktionen/Ausdrücken hinzufügen (für UTF8_BINARY & LCASE)
  • [SPARK-48143] [ES-1095638] [SQL] Verwenden von einfachen Ausnahmen für den Steuerungsfluss zwischen UnivocityParser und FailureSafeParser
  • [SPARK-48146] [SC-165668] [SQL] Beheben der Aggregatfunktion in der untergeordneten Assertion des Ausdrucks
  • [SPARK-48161] Wiederherstellen von "[SC-165325][SQL] Hinzufügen der Sortierungsunterstützung für JSON-Ausdrücke"
  • [SPARK-47963] [CORE] Erlauben das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwendet
  • [SPARK-48180] [SC-165632] [SQL] Verbessern des Fehlers, wenn UDTF-Aufruf mit TABLE arg Klammern um mehrere PARTITION/ORDER BY-Auslöser vergessen
  • [SPARK-48002] [SC-164132] [PYTHON] [SS] Hinzufügen von Test für beobachtete Metriken in PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548] [SQL] Hinzufügen der Sortierunterstützung für URL-Ausdrücke
  • [SPARK-48161] [SC-165325] [SQL] Hinzufügen der Sortierunterstützung für JSON-Ausdrücke
  • [SPARK-47359] [SC-164328] [SQL] Unterstützung der TRANSLATE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
  • [SPARK-47365] [SC-165643] [PYTHON] toArrow() DataFrame-Methode zu PySpark hinzufügen
  • [SPARK-48228] [SC-165649] [PYTHON] [CONNECT] Implementieren der fehlenden Funktionsüberprüfung in ApplyInXXX
  • [SPARK-47986] [SC-165549] [CONNECT] [PYTHON] Eine neue Sitzung kann nicht erstellt werden, wenn die Standardsitzung vom Server geschlossen wird.
  • [SPARK-47963] "[CORE] Erlauben das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwendet“ zurücksetzen
  • [SPARK-47963] [CORE] Erlauben das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwendet
  • [SPARK-48208] [SC-165547] [SS] Bereitstellen von Arbeitsspeichernutzungsmetriken von RocksDB überspringen, wenn die speichergebundene Speicherauslastung aktiviert ist
  • [SPARK-47566] [SC-164314] [SQL] Unterstützen der SubstringIndex-Funktion zum Arbeiten mit sortierten Zeichenfolgen
  • [SPARK-47589] [SC-162127] [SQL] Hive-Thriftserver: Migrieren von logError mit Variablen zum strukturierten Protokollierungsframework
  • [SPARK-48205] [SC-165501] [PYTHON] Entfernen des privaten[sql]-Modifizierers für Python-Datenquellen
  • [SPARK-48173] [SC-165181] [SQL] CheckAnalysis sollte den gesamten Abfrageplan sehen
  • [SPARK-48197] [SC-165520] [SQL] Vermeiden eines Assert-Fehlers für ungültige Lambda-Funktion
  • [SPARK-47318] [SC-162573] [CORE] Fügt die HKDF-Runde zu AuthEngine-Schlüsselableitung hinzu, um die Standard-KEX-Methoden zu befolgen.
  • [SPARK-48184] [SC-165335] [PYTHON] [CONNECT] menge von Dataframe.sample in Client-Seite immer setzen
  • [SPARK-48128] [SC-165004] [SQL] Beheben Sie für BitwiseCount/bit_count Ausdruck codegensyntaxfehler für boolesche Typeingaben.
  • [SPARK-48147] [SC-165144] [SS] [CONNECT] Entfernen clientseitiger Listener, wenn lokale Spark-Sitzung gelöscht wird
  • [SPARK-48045] [SC-165299] [PYTHON] Pandas API groupby with multi-agg-relabel ignores as_index=False
  • [SPARK-48191] [SC-165323] [SQL] Unterstützung von UTF-32 für Zeichenfolgencodierung und Decodierung
  • [SPARK-45352] [SC-137627] [SQL] Entfernen faltbarer Fensterpartitionen
  • [SPARK-47297] [SC-165179] [SQL] Hinzufügen der Sortierunterstützung für Formatausdrücke
  • [SPARK-47267] [SC-165170] [SQL] Hinzufügen der Sortierunterstützung für Hashausdrücke
  • [SPARK-47965] [SC-163822] [CORE] Vermeiden von orNull in TypedConfigBuilder und OptionalConfigEntry
  • [SPARK-48166] [SQL] Vermeiden der Verwendung von BadRecordException als benutzerorientierter Fehler in VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132] [SS] Beheben der Racebedingung zwischen Zustandsspeicher entladen und Momentaufnahmen
  • [SPARK-47922] [SC-163997] [SQL] Implementieren des try_parse_json Ausdrucks
  • [SPARK-47719] [SC-161909][SQL] Verändern von spark.sql.legacy.timeParse…
  • [SPARK-48035] [SC-165136] [SQL] Beheben von try_add/try_multiply semantisch gleich add/multiplizieren
  • [SPARK-48107] [SC-164878] [PYTHON] Ausschließen von Tests aus der Python-Verteilung
  • [SPARK-46894] [SC-164447] [PYTHON] Verschieben von PySpark-Fehlerbedingungen in eine eigenständige JSON-Datei
  • [SPARK-47583] [SC-163825] [CORE] SQL Core: Migrieren von logError mit Variablen zum strukturierten Protokollierungsframework
  • [SPARK-48064] Zurücksetzen von "[SC-164697][SQL] Updatefehlermeldungen für routinebezogene Fehlerklassen"
  • [SPARK-48048] [SC-164846] [CONNECT] [SS] Unterstützung für clientseitige Listener für Scala hinzugefügt
  • [SPARK-48064] [SC-164697] [SQL] Aktualisieren von Fehlermeldungen für routinebezogene Fehlerklassen
  • [SPARK-48056] [SC-164715] [CONNECT] [PYTHON] Plan erneut ausführen, wenn ein SESSION_NOT_FOUND Fehler ausgelöst wird und keine Teilantwort empfangen wurde
  • [SPARK-48124] [SC-165009] [CORE] Deaktivieren der strukturierten Protokollierung für Connect-Repl standardmäßig
  • [SPARK-47922] Zurücksetzen von "[SC-163997][SQL] Implementieren des try_parse_json Ausdrucks"
  • [SPARK-48065] [SC-164817] [SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys ist zu streng
  • [SPARK-48114] [SC-164956] [CORE] Vorkompilieren von Vorlagen regex, um unnötige Arbeit zu vermeiden
  • [SPARK-48067] [SC-164773] [SQL] Korrigieren von Standardspalten für Varianten
  • [SPARK-47922] [SC-163997] [SQL] Implementieren des try_parse_json Ausdrucks
  • [SPARK-48075] [SC-164709] [SS] Hinzufügen der Typüberprüfung für PySpark avro-Funktionen
  • [SPARK-47793] [SC-164324] [SS] [PYTHON] Implementieren von SimpleDataSourceStreamReader für python-Streamingdatenquelle
  • [SPARK-48081] [SC-164719] Beheben von ClassCastException in NTile.checkInputDataTypes() wenn das Argument nicht gefaltet oder vom falschen Typ ist
  • [SPARK-48102] [SC-164853] [SS] Nachverfolgen der Dauer für den Erwerb von Quell-/Senkenmetriken beim Melden des Streamingabfragefortschritts
  • [SPARK-47671] [SC-164854] [Kern] Aktivieren der strukturierten Protokollierung in log4j2.properties.template und Aktualisieren von Dokumenten
  • [SPARK-47904] [SC-163409] [SQL] Beibehalten des Falls im Avro-Schema bei Verwendung von enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695] [SPARK-43727] [PYTHON] [CONNECT] UserDefinedFunction.returnType Analysieren der DDL-Zeichenfolge
  • [SPARK-46922] [SC-156102] [CORE] [SQL] Laufzeitfehler nicht umschließen
  • [SPARK-48047] [SC-164576] [SQL] Reduzieren des Speicherdrucks leerer TreeNode-Tags
  • [SPARK-47934] [SC-164648] [CORE] Sicherstellen nachgestellter Schrägstriche in HistoryServer URL-Umleitungen
  • [SPARK-47921] [SC-163826] [CONNECT] Beheben der ExecuteJobTag-Erstellung in ExecuteHolder
  • [SPARK-48014] [SC-164150] [SQL] Ändern des makeFromJava-Fehlers in EvaluatePython in einen benutzerbezogenen Fehler
  • [SPARK-47903] [SC-163424] [PYTHON] Unterstützung für verbleibende Skalartypen in der PySpark Variant-Bibliothek hinzufügen
  • [SPARK-48068] [SC-164579] [PYTHON] mypy sollte Parameter aufweisen --python-executable
  • [SPARK-47846] [SC-163074] [SQL] Hinzufügen der Unterstützung für den Variant-Typ in from_json Ausdruck
  • [SPARK-48050] [SC-164322] [SS] Logischen Plan beim Starten der Abfrage protokollieren
  • [SPARK-47810] [SC-163076] [SQL] Ersetzen eines entsprechenden Ausdrucks mit <=> in join-Bedingung
  • [SPARK-47741] [SC-164290] Stapelüberlaufbehandlung in Parser hinzugefügt
  • [SPARK-48053] [SC-164309] [PYTHON] [CONNECT] SparkSession.createDataFrame sollte bei nicht unterstützten Optionen gewarnt werden.
  • [SPARK-47939] [SC-164171] [SQL] Implementieren einer neuen Analyzer-Regel zum Verschieben von ParameterizedQuery in ExplainCommand und DescribeQueryCommand
  • [SPARK-48063] [SC-164432][CORE] Standardmäßige Aktivierung von spark.stage.ignoreDecommissionFetchFailure
  • [SPARK-48016] [SC-164280] [SQL] Beheben eines Fehlers in try_divide Funktion bei Dezimalstellen
  • [SPARK-48033] [SC-164291] [SQL] Korrigieren von RuntimeReplaceable Ausdrücken, die in Standardspalten verwendet werden
  • [SPARK-48010] [SC-164051] [SQL] [ES-1109148] Vermeiden wiederholter Aufrufe von conf.resolver in resolveExpression
  • [SPARK-48003] [SC-164323] [SQL] Hinzufügen der Sortierunterstützung für hll-Skizzenaggregat
  • [SPARK-47994] [SC-164175] [SQL] Beheben eines Fehlers mit CASE WHEN-Spaltenfilter-Pushdown in SQLServer
  • [SPARK-47984] [SC-163837] [ML] [SQL] Änderung von MetricsAggregate/V2Aggregator#serialize/deserialize auf Anruf SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202] [SQL] Verwenden Sie einen Zeitstempelformatierer mit Zeitzone auf Klassenebene, anstatt Kopien auf Methodenebene zu erstellen.
  • [SPARK-47596] [SPARK-47600] [SPARK-47604] [SPARK-47804] Strukturierte Protokollmigrationen
  • [SPARK-47594] [SPARK-47590] [SPARK-47588] [SPARK-47584] Strukturierte Protokollmigrationen
  • [SPARK-47567] [SC-164172] [SQL] Unterstützung der LOCATE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
  • [SPARK-47764] [SC-163820] [CORE] [SQL] Bereinigen von ShuffleCleanupMode-Abhängigkeiten
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] Aktualisieren der Fehlerklasse für group.apply
  • [SPARK-47414] [SC-163831] [SQL] Unterstützung für kleingeschriebene Sortierung für regexp-Ausdrücke
  • [SPARK-47418] [SC-163818] [SQL] Hinzufügen von handgemachten Implementierungen für Unicode-fähige Kleinbuchstaben, startsWith und endsWith und Optimieren von UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834] [SQL] SQL-Katalysator: Entfernen von nicht benannten Variablen in Fehlerprotokollen
  • [SPARK-47351] [SC-164008] [SQL] Hinzufügen der Sortierungsunterstützung für StringToMap & Mask-Zeichenfolgenausdrücke
  • [SPARK-47292] [SC-164151] [SS] safeMapToJValue sollte null typierte Werte berücksichtigen
  • [SPARK-47476] [SC-164014] [SQL] Unterstützen der REPLACE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
  • [SPARK-47408] [SC-164104] [SQL] Korrigieren von mathExpressions, die StringType verwenden
  • [SPARK-47350] [SC-164006] [SQL] Hinzufügen der Sortierunterstützung für SplitPart-Zeichenfolgenausdruck
  • [SPARK-47692] [SC-163819] [SQL] Beheben der standardmäßigen StringType-Bedeutung in impliziter Umwandlung
  • [SPARK-47094] [SC-161957] [SQL] SPJ: Dynamischer Neuausgleich der Anzahl der Buckets, wenn sie nicht gleich sind
  • [SPARK-48001] [SC-164000][CORE] Nicht verwendetes private implicit def arrayToArrayWritable aus SparkContext entfernen
  • [SPARK-47986] [SC-163999] [CONNECT] [PYTHON] Eine neue Sitzung kann nicht erstellt werden, wenn die Standardsitzung vom Server geschlossen wird.
  • [SPARK-48019] [SC-164121] Falsches Verhalten in ColumnVector/ColumnarArray mit Wörterbuch und Nullen beheben
  • [SPARK-47743] [SPARK-47592] [SPARK-47589] [SPARK-47581] [SPARK-47586] [SPARK-47593] [SPARK-47595] [SPARK-47587] [SPARK-47603] Strukturierte Protokollmigrationen
  • [SPARK-47999] [SC-163998] [SS] Verbessern der Protokollierung bei der Erstellung von Momentaufnahmen und Hinzufügen/Entfernen von Einträgen aus der Statuscachezuordnung in HDFS-Anbieter für gesicherten Zustandsspeicher
  • [SPARK-47417] [SC-162872] [SQL] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871] [CONNECT] Verbinden von Plug-Ins zum Erstellen und Verarbeiten von Datasets zulassen
  • [SPARK-47411] [SC-163351] [SQL] Unterstützen von StringInstr - FindInSet-Funktionen für die Arbeit mit sortierten Zeichenfolgen
  • [SPARK-47360] [SC-163014] [SQL] Sortierunterstützung: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323] [SQL] – Unterstützung für Sortierungen zu substr/left/right hinzufügen
  • [SPARK-47983] [SC-163835] [SQL] Tieferstufen von spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled auf intern
  • [SPARK-47964] [SC-163816] [PYTHON] [CONNECT] Ausblenden von SQLContext und HiveContext in pyspark-connect
  • [SPARK-47985] [SC-163841] [PYTHON] Vereinfachen von Funktionen mit lit
  • [SPARK-47633] [SC-163453] [SQL] Rechtsseitige Planausgabe in LateralJoin#allAttributes für eine konsistentere Kanonisierung einschließen
  • [SPARK-47909] "[PYTHON][CONNECT] Übergeordnete DataFrame-Klasse f...
  • [SPARK-47767] [SC-163096] [SQL] Offsetwert in TakeOrderedAndProjectExec anzeigen
  • [SPARK-47822] [SC-162968] [SQL] Verhindern von Hashausdrücken beim Hashing des Variant-Datentyps
  • [SPARK-47490] [SC-160494] [SS] Beheben der Verwendung des RocksDB Logger-Konstruktors zur Vermeidung von Warnungen „Veraltet“
  • [SPARK-47417] Revert "[SC-162872][SQL] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
  • [SPARK-47352] [SC-163460] [SQL] Sortierbewusstsein für Ober-, Unter- und InitCap berichtigen
  • [SPARK-47909] [PYTHON] [CONNECT] Übergeordnete DataFrame-Klasse für Spark Connect und Spark Classic
  • [SPARK-47417] [SC-162872] [SQL] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Siehe Databricks Runtime 15.3 Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
Klicken 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 Kryptografie 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 Packen 23,2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 sechs 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme des Posit Package Manager CRAN installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 Blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 Anmeldeinformationen 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
Diagramm 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 Evaluieren 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
Grafiken 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
Lebenszyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 Methoden 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Fortschritt 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1