Databricks Runtime 15.3

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 15.3, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Images im Juni 2024 veröffentlicht.

Neue Features und Verbesserungen

Unterstützung von Lesen von und Schreiben in Streams durch PySpark DataSources

PySpark DataSources ermöglichen das Lesen aus benutzerdefinierten Datenquellen und Schreiben in benutzerdefinierte Datensenken und unterstützen nun das Lesen aus und Schreiben in Streams. Weitere Informationen finden Sie unter Benutzerdefinierte PySpark-Datenquellen.

Deaktivieren der Spaltenzuordnung mit Drop-Feature

Sie können jetzt DROP FEATURE benutzen, um die Spaltenzuordnung in Delta-Tabellen zu deaktivieren und das Tabellenprotokoll herabzustufen. Siehe Spaltenzuordnung deaktivieren.

Syntax und Funktionen des Variant-Typs in der öffentlichen Vorschau

Native Apache Spark-Unterstützung für die Arbeit mit halbstrukturierten Daten als VARIANT Typ ist jetzt in Spark DataFrames und SQL verfügbar. Siehe Abfragevariantendaten.

Variant-Typunterstützung für Delta Lake in der öffentlichen Vorschauversion

Sie können jetzt VARIANT benutzen, um halbstrukturierte Daten in Tabellen zu speichern, die von Delta Lake unterstützt werden. Siehe Unterstützung von Varianten im Delta Lake.

Unterstützung für verschiedene Modi der Schemaentwicklung in Ansichten

Mit CREATE VIEW und ALTER VIEW können Sie jetzt einen Schemabindungsmodus festlegen und verbessern, wie Ansichten Schemaänderungen in zugrunde liegenden Objekten behandeln. Dieses Feature ermöglicht es Ansichten, Schemaänderungen in den zugrunde liegenden Objekten zu tolerieren oder anzupassen. Es behandelt Änderungen im Abfrageschema, die sich aus Änderungen an Objektdefinitionen ergeben.

Unterstützung für observe() Methoden, die dem Spark Connect Scala-Client hinzugefügt werden

Der Spark Connect Scala-Client unterstützt jetzt die Dataset.observe() Methoden. Die Unterstützung für diese Methoden ermöglicht es Ihnen, Metriken zu definieren, die für ein Dataset Objekt mithilfe der ds.observe("name", metrics...) oder ds.observe(observationObject, metrics...) Methoden beobachtet werden sollen.

Verbesserte Latenz des Datenstromneustarts für das automatische Laden

Diese Version enthält eine Änderung, die die Latenz des Datenstromneustarts für das automatische Laden verbessert. Diese Verbesserung wird implementiert, indem das Laden des Zustands durch den RocksDB-Zustandsspeicher asynchron wird. Mit dieser Änderung sollten Sie eine Verbesserung der Startzeiten für Datenströme mit großen Zuständen sehen, z. B. Datenströme mit einer großen Anzahl bereits aufgenommener Dateien.

Zurückgeben eines DataFrame als pyarrow.Table

Um das direkte Schreiben eines DataFrame in ein Apache Arrow pyarrow.Table-Objekt zu unterstützen, enthält dieser Release die DataFrame.toArrow()-Funktion. Weitere Informationen zur Verwendung von Arrow in PySpark finden Sie unter Apache Arrow in PySpark.

Leistungsverbesserungen für einige Fensterfunktionen

Dieser Release enthält eine Änderung, die die Leistung einiger Spark-Fensterfunktionen verbessert, insbesondere Funktionen, die keine ORDER BY-Klausel und keinen window_frame-Parameter enthalten. In diesen Fällen kann das System die Abfrage neu schreiben, um sie mit einer Aggregatfunktion auszuführen. Mit dieser Änderung kann die Abfrage schneller ausgeführt werden, indem eine partielle Aggregation verwendet wird und Mehraufwand durch ausgeführte Fensterfunktionen vermieden wird. Der Spark-Konfigurationsparameter spark.databricks.optimizer.replaceWindowsWithAggregates.enabled steuert diese Optimierung und ist standardmäßig auf true festgelegt. Um diese Optimierung zu deaktivieren, legen Sie spark.databricks.optimizer.replaceWindowsWithAggregates.enabled auf false fest.

Unterstützung für die try_remainder-Funktion hinzugefügt

Mit diesem Release wird Unterstützung für die PySpark try_remainder()-Funktion hinzugefügt. Diese Funktion unterstützt die ANSI SQL-kompatible Berechnung des ganzzahligen Rests der Division zweier numerischer Werte. Wenn das Divisor-Argument 0 ist, gibt die try_remainder()-Funktion null zurück, anstatt eine Ausnahme auszulösen. Sie können die try_remainder()-Funktion anstelle von mod oder % verwenden, die eine Ausnahme auslösen, wenn das Divisor-Argument 0 und ANSI SQL aktiviert ist.

Fehlerkorrekturen

WriteIntoDeltaCommand Metriken in der Spark-Benutzeroberfläche werden jetzt ordnungsgemäß angezeigt

Diese Version enthält eine Lösung für die Metriken, die auf der Registerkarte SQL der Spark-Benutzeroberfläche für den Execute WriteIntoDeltaCommand Knoten angezeigt werden. Zuvor waren die für diesen Knoten angezeigten Metriken alle null.

Die groupby()-Funktion in der Pandas-API hat das as_index=False-Argument ignoriert

Dieser Release enthält eine Lösung für ein Problem mit der groupby()-Funktion in der Pandas-API auf Spark. Vor diesem Fix enthielten eine groupby() mit neuer Bezeichnung der Aggregatspalten und das as_index=False-Argument keine Gruppenschlüssel im resultierenden DataFrame.

Analysefehler bei mehreren Fensterfunktionen, die auf die Ausgabe der anderen Funktionen verweisen

Diese Version behebt ein Problem, das auftreten kann, wenn eine Spark-Abfrage über mehrere aufeinander folgende Fensterfunktionen verfügt, wobei die Fensterfunktionen auf die Ausgabe der anderen Fensterfunktionen verweisen. In seltenen Fällen kann das System einen der Verweise weglassen, was zu Fehlern bei der Auswertung der Abfrage führt. Mit diesem Fix werden diese Verweise projiziert, um die Abfrageauswertung sicherzustellen. Diese Änderung wird durch den Spark-Konfigurationsparameter spark.databricks.optimizer.collapseWindows.projectReferences gesteuert, der standardmäßig auf true festgelegt ist. Um diese Änderung zu deaktivieren, legen Sie spark.databricks.optimizer.collapseWindows.projectReferences auf false fest.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • filelock von 3.13.1 auf 3.13.4
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • org.rocksdb.rocksdbjni von 8.3.2 auf 8.11.4

Apache Spark

Databricks Runtime 15.3 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 15.2 enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

• [SPARK-48288] [SC-166141] Hinzufügen des Quelldatentyps für den Verbinder-Umwandlungsausdruck
• [SPARK-48175] [SC-166341][SQL][PYTHON] Speichern von Sortierungsinformationen in Metadaten und nicht im Typ für SER/DE
• [SPARK-48172] [SC-166078][SQL] Beheben von Escape-Problemen in JDBCDialects
• [SPARK-48186] [SC-165544][SQL] Hinzufügen von Unterstützung für AbstractMapType
• [SPARK-48031] [SC-166523] Vorgängeransichten für SCHEMA BINDING
• [SPARK-48369] [SC-166566][SQL] [PYTHON][CONNECT] Funktion hinzufügen timestamp_add
• [SPARK-48330] [SC-166458][SS][PYTHON] Beheben des Problems mit dem Timeout der Python-Streamingdatenquelle für ein großes Triggerintervall
• [SPARK-48369] Wiederherstellen von "[SC-166494][SQL][PYTHON][CONNECT] Funktion timestamp_add hinzufügen"
• [SPARK-48336] [SC-166495] [PS] [CONNECT] ps.sql in Spark Connect implementieren
• [SPARK-48369] [SC-166494] [SQL] [PYTHON] [CONNECT] Funktion timestamp_add hinzufügen
• [SPARK-47354] [SC-165546] [SQL] Hinzufügen der Sortierunterstützung für Variantenausdrücke
• [SPARK-48161] [SC-165325] [SQL] Umgekehrte PRbeheben – Hinzufügen der Sortierungsunterstützung für JSON-Ausdrücke
• [SPARK-48031] [SC-166391] Zerlegen von viewSchemaMode-Konfiguration und Hinzufügen von SHOW CREATE TABLE-Unterstützung
• [SPARK-48268] [SC-166217][CORE] Konfiguration für SparkContext.setCheckpointDir hinzufügen
• [SPARK-48312] [ES-1076198][SQL] Leistung von Alias.removeNonInheritableMetadata verbessern
• [SPARK-48294] [SC-166205] [SQL] Behandeln von Kleinbuchstaben in nestedTypeMissingElementTypeError
• [SPARK-47254] [SC-158847][SQL] Zuweisen von Namen zu Fehlerklassen _LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [SC-158749] [SQL] Zuweisen von Namen zu Fehlerklassen _LEGACY_ERROR_TEMP_323[6-7] und _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [SC-166239] [PYTHON] [CONNECT] Zwischengespeicherte Eigenschaften müssen Kopien zurückgeben
• [SPARK-48308] [SC-166152] [Kern] Vereinheitlichen des Datenschemas ohne Partitionsspalten in FileSourceStrategy
• [SPARK-48301] [SC-166143][SQL] CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE in CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE umbenennen
• [SPARK-48287] [SC-166139] [PS] [CONNECT] Anwenden der integrierten timestamp_diff Methode
• [SPARK-47607] [SC-166129] Hinzufügen von Dokumentationen für das Framework für strukturierte Protokollierung
• [SPARK-48297] [SC-166136] [SQL] Beheben einer Regressions-TRANSFORM-Klausel mit Char/varchar
• [SPARK-47045] [SC-156808][SQL] Ersetzen von IllegalArgumentException durch SparkIllegalArgumentException in sql/api
• [SPARK-46991] [SC-156399][SQL] Ersetzen von IllegalArgumentException durch SparkIllegalArgumentException in catalyst
• [SPARK-48031] [SC-165805] [SQL] Unterstützung der Ansichtsschemaentwicklung
• [SPARK-48276] [SC-166116][PYTHON][CONNECT] Hinzufügen der fehlenden __repr__ Methode für SQLExpression
• [SPARK-48278] [SC-166071] [PYTHON] [CONNECT] Verfeinern der Zeichenfolgendarstellung von Cast
• [SPARK-48272] [SC-166069] [SQL] [PYTHON] [CONNECT] Funktion timestamp_diff hinzufügen
• [SPARK-47798] [SC-162492] [SQL] Erweitern der Fehlermeldung für die Lesefehler von Dezimalwerten
• [SPARK-47158] [SC-158078] [SQL] Zuweisen des richtigen Namens und sqlState zu _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082] [CORE] TransportClientFactory.createClient kann NPE verursachen FetchFailedException
• [SPARK-48277] [SC-166066] Fehlermeldung für ErrorClassesJsonReader.getErrorMessage verbessern
• [SPARK-47545] [SC-165444] [CONNECT] Datasetunterstützung observe für den Scala-Client
• [SPARK-41794] [SC-165838] [SQL] Hinzufügen von try_remainder Funktionen und erneutes Aktivieren von Spaltentests
• 02[SPARK-43258] [SC-158151][SQL] Zuweisung von Namen zum Fehler _LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [SC-165903] [SS] Regression e2e Test mit SPARK-47305
• [SPARK-48263] [SC-165925] Sortierfunktionsunterstützung für nicht UTF8_BINARY Zeichenfolgen
• [SPARK-48260] [SC-165883] [SQL] Deaktivieren der Output Committer-Koordination in einem Test von LaminatIOSuite
• [SPARK-47834] [SC-165645] [SQL] [CONNECT] Veraltete Funktionen mit @deprecated in SQLImplicits markieren
• [SPARK-48011] [SC-164061] [Kern] LogKey-Name als Wert speichern, um das Generieren neuer Zeichenfolgeninstanzen zu vermeiden
• [SPARK-48074] [SC-164647] [Kern] Verbessern der Lesbarkeit von JSON-Protokollierungen
• [SPARK-44953] [SC-165866] [CORE] Protokollieren einer Warnung, wenn die Shuffle-Nachverfolgung parallel zu einem anderen unterstützten DA-Mechanismus aktiviert ist
• [SPARK-48266] [SC-165897] [CONNECT] Verschieben des Paketobjekts org.apache.spark.sql.connect.dsl in das Testverzeichnis
• [SPARK-47847] [SC-165651][CORE] spark.network.remoteReadNioBufferConversion veraltet
• [SPARK-48171] [SC-165178] [CORE] Bereinigen der Verwendung veralteter Konstruktoren von o.rocksdb.Logger
• [SPARK-48235] [SC-165669] [SQL] Direktes Übergeben der Verknüpfung anstelle aller Argumente zum getBroadcastBuildSide und getShuffleHashJoinBuildSide
• [SPARK-48224] [SC-165648] [SQL] Zuordnen von Schlüsseln vom Typ "Variante" nicht zulassen
• [SPARK-48248] [SC-165791] [PYTHON] Beheben von geschachtelten Arrays zur Achtung der legacy-conf von inferArrayTypeFromFirstElement
• [SPARK-47409] [SC-165568] [SQL] Unterstützung für die Sortierung für den StringTrim-Typ von Funktionen/Ausdrücken hinzufügen (für UTF8_BINARY & LCASE)
• [SPARK-48143] [ES-1095638] [SQL] Verwenden von einfachen Ausnahmen für den Steuerungsfluss zwischen UnivocityParser und FailureSafeParser
• [SPARK-48146] [SC-165668] [SQL] Beheben der Aggregatfunktion in der untergeordneten Assertion des Ausdrucks
• [SPARK-48161] Wiederherstellen von "[SC-165325][SQL] Hinzufügen der Sortierungsunterstützung für JSON-Ausdrücke"
• [SPARK-47963] [CORE] Erlauben das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwendet
• [SPARK-48180] [SC-165632] [SQL] Verbessern des Fehlers, wenn UDTF-Aufruf mit TABLE arg Klammern um mehrere PARTITION/ORDER BY-Auslöser vergessen
• [SPARK-48002] [SC-164132] [PYTHON] [SS] Hinzufügen von Test für beobachtete Metriken in PySpark StreamingQueryListener
• [SPARK-47421] [SC-165548] [SQL] Hinzufügen der Sortierunterstützung für URL-Ausdrücke
• [SPARK-48161] [SC-165325] [SQL] Hinzufügen der Sortierunterstützung für JSON-Ausdrücke
• [SPARK-47359] [SC-164328] [SQL] Unterstützung der TRANSLATE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
• [SPARK-47365] [SC-165643] [PYTHON] toArrow() DataFrame-Methode zu PySpark hinzufügen
• [SPARK-48228] [SC-165649] [PYTHON] [CONNECT] Implementieren der fehlenden Funktionsüberprüfung in ApplyInXXX
• [SPARK-47986] [SC-165549] [CONNECT] [PYTHON] Eine neue Sitzung kann nicht erstellt werden, wenn die Standardsitzung vom Server geschlossen wird.
• [SPARK-47963] "[CORE] Erlauben das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwendet“ zurücksetzen
• [SPARK-47963] [CORE] Erlauben das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwendet
• [SPARK-48208] [SC-165547] [SS] Bereitstellen von Arbeitsspeichernutzungsmetriken von RocksDB überspringen, wenn die speichergebundene Speicherauslastung aktiviert ist
• [SPARK-47566] [SC-164314] [SQL] Unterstützen der SubstringIndex-Funktion zum Arbeiten mit sortierten Zeichenfolgen
• [SPARK-47589] [SC-162127] [SQL] Hive-Thriftserver: Migrieren von logError mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48205] [SC-165501] [PYTHON] Entfernen des privaten[sql]-Modifizierers für Python-Datenquellen
• [SPARK-48173] [SC-165181] [SQL] CheckAnalysis sollte den gesamten Abfrageplan sehen
• [SPARK-48197] [SC-165520] [SQL] Vermeiden eines Assert-Fehlers für ungültige Lambda-Funktion
• [SPARK-47318] [SC-162573] [CORE] Fügt die HKDF-Runde zu AuthEngine-Schlüsselableitung hinzu, um die Standard-KEX-Methoden zu befolgen.
• [SPARK-48184] [SC-165335] [PYTHON] [CONNECT] menge von Dataframe.sample in Client-Seite immer setzen
• [SPARK-48128] [SC-165004] [SQL] Beheben Sie für BitwiseCount/bit_count Ausdruck codegensyntaxfehler für boolesche Typeingaben.
• [SPARK-48147] [SC-165144] [SS] [CONNECT] Entfernen clientseitiger Listener, wenn lokale Spark-Sitzung gelöscht wird
• [SPARK-48045] [SC-165299] [PYTHON] Pandas API groupby with multi-agg-relabel ignores as_index=False
• [SPARK-48191] [SC-165323] [SQL] Unterstützung von UTF-32 für Zeichenfolgencodierung und Decodierung
• [SPARK-45352] [SC-137627] [SQL] Entfernen faltbarer Fensterpartitionen
• [SPARK-47297] [SC-165179] [SQL] Hinzufügen der Sortierunterstützung für Formatausdrücke
• [SPARK-47267] [SC-165170] [SQL] Hinzufügen der Sortierunterstützung für Hashausdrücke
• [SPARK-47965] [SC-163822] [CORE] Vermeiden von orNull in TypedConfigBuilder und OptionalConfigEntry
• [SPARK-48166] [SQL] Vermeiden der Verwendung von BadRecordException als benutzerorientierter Fehler in VariantExpressionEvalUtils
• [SPARK-48105] [SC-165132] [SS] Beheben der Racebedingung zwischen Zustandsspeicher entladen und Momentaufnahmen
• [SPARK-47922] [SC-163997] [SQL] Implementieren des try_parse_json Ausdrucks
• [SPARK-47719] [SC-161909][SQL] Verändern von spark.sql.legacy.timeParse…
• [SPARK-48035] [SC-165136] [SQL] Beheben von try_add/try_multiply semantisch gleich add/multiplizieren
• [SPARK-48107] [SC-164878] [PYTHON] Ausschließen von Tests aus der Python-Verteilung
• [SPARK-46894] [SC-164447] [PYTHON] Verschieben von PySpark-Fehlerbedingungen in eine eigenständige JSON-Datei
• [SPARK-47583] [SC-163825] [CORE] SQL Core: Migrieren von logError mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48064] Zurücksetzen von "[SC-164697][SQL] Updatefehlermeldungen für routinebezogene Fehlerklassen"
• [SPARK-48048] [SC-164846] [CONNECT] [SS] Unterstützung für clientseitige Listener für Scala hinzugefügt
• [SPARK-48064] [SC-164697] [SQL] Aktualisieren von Fehlermeldungen für routinebezogene Fehlerklassen
• [SPARK-48056] [SC-164715] [CONNECT] [PYTHON] Plan erneut ausführen, wenn ein SESSION_NOT_FOUND Fehler ausgelöst wird und keine Teilantwort empfangen wurde
• [SPARK-48124] [SC-165009] [CORE] Deaktivieren der strukturierten Protokollierung für Connect-Repl standardmäßig
• [SPARK-47922] Zurücksetzen von "[SC-163997][SQL] Implementieren des try_parse_json Ausdrucks"
• [SPARK-48065] [SC-164817] [SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys ist zu streng
• [SPARK-48114] [SC-164956] [CORE] Vorkompilieren von Vorlagen regex, um unnötige Arbeit zu vermeiden
• [SPARK-48067] [SC-164773] [SQL] Korrigieren von Standardspalten für Varianten
• [SPARK-47922] [SC-163997] [SQL] Implementieren des try_parse_json Ausdrucks
• [SPARK-48075] [SC-164709] [SS] Hinzufügen der Typüberprüfung für PySpark avro-Funktionen
• [SPARK-47793] [SC-164324] [SS] [PYTHON] Implementieren von SimpleDataSourceStreamReader für python-Streamingdatenquelle
• [SPARK-48081] [SC-164719] Beheben von ClassCastException in NTile.checkInputDataTypes() wenn das Argument nicht gefaltet oder vom falschen Typ ist
• [SPARK-48102] [SC-164853] [SS] Nachverfolgen der Dauer für den Erwerb von Quell-/Senkenmetriken beim Melden des Streamingabfragefortschritts
• [SPARK-47671] [SC-164854] [Kern] Aktivieren der strukturierten Protokollierung in log4j2.properties.template und Aktualisieren von Dokumenten
• [SPARK-47904] [SC-163409] [SQL] Beibehalten des Falls im Avro-Schema bei Verwendung von enableStableIdentifiersForUnionType
• [SPARK-48058] [SC-164695] [SPARK-43727] [PYTHON] [CONNECT] UserDefinedFunction.returnType Analysieren der DDL-Zeichenfolge
• [SPARK-46922] [SC-156102] [CORE] [SQL] Laufzeitfehler nicht umschließen
• [SPARK-48047] [SC-164576] [SQL] Reduzieren des Speicherdrucks leerer TreeNode-Tags
• [SPARK-47934] [SC-164648] [CORE] Sicherstellen nachgestellter Schrägstriche in HistoryServer URL-Umleitungen
• [SPARK-47921] [SC-163826] [CONNECT] Beheben der ExecuteJobTag-Erstellung in ExecuteHolder
• [SPARK-48014] [SC-164150] [SQL] Ändern des makeFromJava-Fehlers in EvaluatePython in einen benutzerbezogenen Fehler
• [SPARK-47903] [SC-163424] [PYTHON] Unterstützung für verbleibende Skalartypen in der PySpark Variant-Bibliothek hinzufügen
• [SPARK-48068] [SC-164579] [PYTHON] mypy sollte Parameter aufweisen --python-executable
• [SPARK-47846] [SC-163074] [SQL] Hinzufügen der Unterstützung für den Variant-Typ in from_json Ausdruck
• [SPARK-48050] [SC-164322] [SS] Logischen Plan beim Starten der Abfrage protokollieren
• [SPARK-47810] [SC-163076] [SQL] Ersetzen eines entsprechenden Ausdrucks mit <=> in join-Bedingung
• [SPARK-47741] [SC-164290] Stapelüberlaufbehandlung in Parser hinzugefügt
• [SPARK-48053] [SC-164309] [PYTHON] [CONNECT] SparkSession.createDataFrame sollte bei nicht unterstützten Optionen gewarnt werden.
• [SPARK-47939] [SC-164171] [SQL] Implementieren einer neuen Analyzer-Regel zum Verschieben von ParameterizedQuery in ExplainCommand und DescribeQueryCommand
• [SPARK-48063] [SC-164432][CORE] Standardmäßige Aktivierung von spark.stage.ignoreDecommissionFetchFailure
• [SPARK-48016] [SC-164280] [SQL] Beheben eines Fehlers in try_divide Funktion bei Dezimalstellen
• [SPARK-48033] [SC-164291] [SQL] Korrigieren von RuntimeReplaceable Ausdrücken, die in Standardspalten verwendet werden
• [SPARK-48010] [SC-164051] [SQL] [ES-1109148] Vermeiden wiederholter Aufrufe von conf.resolver in resolveExpression
• [SPARK-48003] [SC-164323] [SQL] Hinzufügen der Sortierunterstützung für hll-Skizzenaggregat
• [SPARK-47994] [SC-164175] [SQL] Beheben eines Fehlers mit CASE WHEN-Spaltenfilter-Pushdown in SQLServer
• [SPARK-47984] [SC-163837] [ML] [SQL] Änderung von MetricsAggregate/V2Aggregator#serialize/deserialize auf Anruf SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [SC-164202] [SQL] Verwenden Sie einen Zeitstempelformatierer mit Zeitzone auf Klassenebene, anstatt Kopien auf Methodenebene zu erstellen.
• [SPARK-47596] [SPARK-47600] [SPARK-47604] [SPARK-47804] Strukturierte Protokollmigrationen
• [SPARK-47594] [SPARK-47590] [SPARK-47588] [SPARK-47584] Strukturierte Protokollmigrationen
• [SPARK-47567] [SC-164172] [SQL] Unterstützung der LOCATE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
• [SPARK-47764] [SC-163820] [CORE] [SQL] Bereinigen von ShuffleCleanupMode-Abhängigkeiten
• [SPARK-48039] [SC-164174][PYTHON][CONNECT] Aktualisieren der Fehlerklasse für group.apply
• [SPARK-47414] [SC-163831] [SQL] Unterstützung für kleingeschriebene Sortierung für regexp-Ausdrücke
• [SPARK-47418] [SC-163818] [SQL] Hinzufügen von handgemachten Implementierungen für Unicode-fähige Kleinbuchstaben, startsWith und endsWith und Optimieren von UTF8_BINARY_LCASE
• [SPARK-47580] [SC-163834] [SQL] SQL-Katalysator: Entfernen von nicht benannten Variablen in Fehlerprotokollen
• [SPARK-47351] [SC-164008] [SQL] Hinzufügen der Sortierungsunterstützung für StringToMap & Mask-Zeichenfolgenausdrücke
• [SPARK-47292] [SC-164151] [SS] safeMapToJValue sollte null typierte Werte berücksichtigen
• [SPARK-47476] [SC-164014] [SQL] Unterstützen der REPLACE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
• [SPARK-47408] [SC-164104] [SQL] Korrigieren von mathExpressions, die StringType verwenden
• [SPARK-47350] [SC-164006] [SQL] Hinzufügen der Sortierunterstützung für SplitPart-Zeichenfolgenausdruck
• [SPARK-47692] [SC-163819] [SQL] Beheben der standardmäßigen StringType-Bedeutung in impliziter Umwandlung
• [SPARK-47094] [SC-161957] [SQL] SPJ: Dynamischer Neuausgleich der Anzahl der Buckets, wenn sie nicht gleich sind
• [SPARK-48001] [SC-164000][CORE] Nicht verwendetes private implicit def arrayToArrayWritable aus SparkContext entfernen
• [SPARK-47986] [SC-163999] [CONNECT] [PYTHON] Eine neue Sitzung kann nicht erstellt werden, wenn die Standardsitzung vom Server geschlossen wird.
• [SPARK-48019] [SC-164121] Falsches Verhalten in ColumnVector/ColumnarArray mit Wörterbuch und Nullen beheben
• [SPARK-47743] [SPARK-47592] [SPARK-47589] [SPARK-47581] [SPARK-47586] [SPARK-47593] [SPARK-47595] [SPARK-47587] [SPARK-47603] Strukturierte Protokollmigrationen
• [SPARK-47999] [SC-163998] [SS] Verbessern der Protokollierung bei der Erstellung von Momentaufnahmen und Hinzufügen/Entfernen von Einträgen aus der Statuscachezuordnung in HDFS-Anbieter für gesicherten Zustandsspeicher
• [SPARK-47417] [SC-162872] [SQL] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• [SPARK-47712] [SC-161871] [CONNECT] Verbinden von Plug-Ins zum Erstellen und Verarbeiten von Datasets zulassen
• [SPARK-47411] [SC-163351] [SQL] Unterstützen von StringInstr - FindInSet-Funktionen für die Arbeit mit sortierten Zeichenfolgen
• [SPARK-47360] [SC-163014] [SQL] Sortierunterstützung: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323] [SQL] – Unterstützung für Sortierungen zu substr/left/right hinzufügen
• [SPARK-47983] [SC-163835] [SQL] Tieferstufen von spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled auf intern
• [SPARK-47964] [SC-163816] [PYTHON] [CONNECT] Ausblenden von SQLContext und HiveContext in pyspark-connect
• [SPARK-47985] [SC-163841] [PYTHON] Vereinfachen von Funktionen mit lit
• [SPARK-47633] [SC-163453] [SQL] Rechtsseitige Planausgabe in LateralJoin#allAttributes für eine konsistentere Kanonisierung einschließen
• [SPARK-47909] "[PYTHON][CONNECT] Übergeordnete DataFrame-Klasse f...
• [SPARK-47767] [SC-163096] [SQL] Offsetwert in TakeOrderedAndProjectExec anzeigen
• [SPARK-47822] [SC-162968] [SQL] Verhindern von Hashausdrücken beim Hashing des Variant-Datentyps
• [SPARK-47490] [SC-160494] [SS] Beheben der Verwendung des RocksDB Logger-Konstruktors zur Vermeidung von Warnungen „Veraltet“
• [SPARK-47417] Revert "[SC-162872][SQL] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
• [SPARK-47352] [SC-163460] [SQL] Sortierbewusstsein für Ober-, Unter- und InitCap berichtigen
• [SPARK-47909] [PYTHON] [CONNECT] Übergeordnete DataFrame-Klasse für Spark Connect und Spark Classic
• [SPARK-47417] [SC-162872] [SQL] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Installierte Python-Bibliotheken

Bibliothek	Version	Bibliothek	Version	Bibliothek	Version
asttokens	2.0.5	astunparse	1.6.3	azure-core	1.30.1
azure-storage-blob	12.19.1	azure-storage-file-datalake	12.14.0	backcall	0.2.0
black	23.3.0	blinker	1.4	boto3	1.34.39
botocore	1.34.39	cachetools	5.3.3	certifi	2023.7.22
cffi	1.15.1	chardet	4.0.0	charset-normalizer	2.0.4
Klicken	8.0.4	cloudpickle	2.2.1	comm	0.1.2
contourpy	1.0.5	Kryptografie	41.0.3	cycler	0.11.0
Cython	0.29.32	databricks-sdk	0.20.0	dbus-python	1.2.18
debugpy	1.6.7	decorator	5.1.1	distlib	0.3.8
entrypoints	0,4	executing	0.8.3	facets-overview	1.1.1
filelock	3.13.4	fonttools	4.25.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.18.0	google-auth	2.29.0
google-cloud-core	2.4.1	google-cloud-storage	2.16.0	google-crc32c	1.5.0
google-resumable-media	2.7.0	googleapis-common-protos	1.63.0	grpcio	1.60.0
grpcio-status	1.60.0	httplib2	0.20.2	idna	3.4
importlib-metadata	6.0.0	ipyflow-core	0.0.198	ipykernel	6.25.1
ipython	8.15.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
isodate	0.6.1	jedi	0.18.1	jeepney	0.7.1
jmespath	0.10.0	joblib	1.2.0	jupyter_client	7.4.9
jupyter_core	5.3.0	keyring	23.5.0	kiwisolver	1.4.4
launchpadlib	1.10.16	lazr.restfulclient	0.14.4	lazr.uri	1.0.6
matplotlib	3.7.2	matplotlib-inline	0.1.6	mlflow-skinny	2.11.3
more-itertools	8.10.0	mypy-extensions	0.4.3	nest-asyncio	1.5.6
numpy	1.23.5	oauthlib	3.2.0	Packen	23,2
Pandas	1.5.3	parso	0.8.3	pathspec	0.10.3
patsy	0.5.3	pexpect	4.8.0	pickleshare	0.7.5
Pillow	9.4.0	pip	23.2.1	platformdirs	3.10.0
plotly	5.9.0	prompt-toolkit	3.0.36	proto-plus	1.23.0
protobuf	4.24.1	psutil	5.9.0	psycopg2	2.9.3
ptyprocess	0.7.0	pure-eval	0.2.2	pyarrow	14.0.1
pyasn1	0.4.8	pyasn1-modules	0.2.8	pyccolo	0.0.52
pycparser	2.21	pydantic	1.10.6	Pygments	2.15.1
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.38
pyparsing	3.0.9	Python-dateutil	2.8.2	python-lsp-jsonrpc	1.1.1
pytz	2022.7	PyYAML	6,0	pyzmq	23.2.0
requests	2.31.0	rsa	4,9	s3transfer	0.10.1
scikit-learn	1.3.0	scipy	1.11.1	seaborn	0.12.2
SecretStorage	3.3.1	setuptools	68.0.0	sechs	1.16.0
smmap	5.0.1	sqlparse	0.5.0	ssh-import-id	5.11
stack-data	0.2.0	statsmodels	0.14.0	tenacity	8.2.2
threadpoolctl	2.2.0	tokenize-rt	4.2.1	tornado	6.3.2
traitlets	5.7.1	typing_extensions	4.10.0	tzdata	2022.1
ujson	5.4.0	unattended-upgrades	0,1	urllib3	1.26.16
virtualenv	20.24.2	wadllib	1.3.6	wcwidth	0.2.5
wheel	0.38.4	zipp	3.11.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme des Posit Package Manager CRAN installiert.

Bibliothek	Version	Bibliothek	Version	Bibliothek	Version
Pfeil	14.0.0.2	askpass	1.2.0	assertthat	0.2.1
backports	1.4.1	base	4.3.2	base64enc	0.1-3
bigD	0.2.0	bit	4.0.5	bit64	4.0.5
bitops	1.0-7	Blob	1.2.4	boot	1.3-28
brew	1.0-10	brio	1.1.4	broom	1.0.5
bslib	0.6.1	cachem	1.0.8	callr	3.7.3
caret	6.0-94	cellranger	1.1.0	chron	2.3-61
class	7.3-22	cli	3.6.2	clipr	0.8.0
clock	0.7.0	cluster	2.1.4	codetools	0.2-19
colorspace	2.1-0	commonmark	1.9.1	compiler	4.3.2
config	0.3.2	conflicted	1.2.0	cpp11	0.4.7
crayon	1.5.2	Anmeldeinformationen	2.0.1	curl	5.2.0
data.table	1.15.0	datasets	4.3.2	DBI	1.2.1
dbplyr	2.4.0	desc	1.4.3	devtools	2.4.5
Diagramm	1.6.5	diffobj	0.3.5	digest	0.6.34
downlit	0.4.3	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-14	ellipsis	0.3.2	Evaluieren	0,23
fansi	1.0.6	farver	2.1.1	fastmap	1.1.1
fontawesome	0.5.2	forcats	1.0.0	foreach	1.5.2
foreign	0.8-85	forge	0.2.0	fs	1.6.3
future	1.33.1	future.apply	1.11.1	gargle	1.5.2
generics	0.1.3	gert	2.0.1	ggplot2	3.4.4
gh	1.4.0	git2r	0.33.0	gitcreds	0.1.2
glmnet	4.1-8	globals	0.16.2	glue	1.7.0
googledrive	2.1.1	googlesheets4	1.1.1	gower	1.0.1
Grafiken	4.3.2	grDevices	4.3.2	grid	4.3.2
gridExtra	2.3	gsubfn	0.7	gt	0.10.1
gtable	0.3.4	hardhat	1.3.1	haven	2.5.4
highr	0,10	hms	1.1.3	htmltools	0.5.7
htmlwidgets	1.6.4	httpuv	1.6.14	httr	1.4.7
httr2	1.0.0	ids	1.0.1	ini	0.3.1
ipred	0.9-14	isoband	0.2.7	iterators	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	juicyjuice	0.1.0
KernSmooth	2.23-21	knitr	1,45	labeling	0.4.3
later	1.3.2	lattice	0.21-8	lava	1.7.3
Lebenszyklus	1.0.4	listenv	0.9.1	lubridate	1.9.3
magrittr	2.0.3	markdown	1.12	MASS	7.3-60
Matrix	1.5-4.1	memoise	2.0.1	Methoden	4.3.2
mgcv	1.8-42	mime	0,12	miniUI	0.1.1.1
mlflow	2.10.0	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.0	nlme	3.1-163	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.1.1	parallel	4.3.2
parallelly	1.36.0	pillar	1.9.0	pkgbuild	1.4.3
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.4
plogr	0.2.0	plyr	1.8.9	praise	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.3
prodlim	2023.08.28	profvis	0.3.8	Fortschritt	1.2.3
progressr	0.14.0	promises	1.2.1	proto	1.0.0
proxy	0.4-27	ps	1.7.6	purrr	1.0.2
R6	2.5.1	ragg	1.2.7	randomForest	4.7-1.1
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.12	RcppEigen	0.3.3.9.4	reactable	0.4.4
reactR	0.5.0	readr	2.1.5	readxl	1.4.3
recipes	1.0.9	rematch	2.0.0	rematch2	2.1.2
remotes	2.4.2.1	reprex	2.1.0	reshape2	1.4.4
rlang	1.1.3	rmarkdown	2,25	RODBC	1.3-23
roxygen2	7.3.1	rpart	4.1.21	rprojroot	2.0.4
Rserve	1.8-13	RSQLite	2.3.5	rstudioapi	0.15.0
rversions	2.1.2	rvest	1.0.3	sass	0.4.8
scales	1.3.0	selectr	0.4-2	sessioninfo	1.2.2
shape	1.4.6	shiny	1.8.0	sourcetools	0.1.7-1
sparklyr	1.8.4	spatial	7.3-15	splines	4.3.2
sqldf	0.4-11	SQUAREM	2021.1	stats	4.3.2
stats4	4.3.2	stringi	1.8.3	stringr	1.5.1
survival	3.5-5	Swagger	3.33.1	sys	3.4.2
systemfonts	1.0.5	tcltk	4.3.2	testthat	3.2.1
textshaping	0.3.7	tibble	3.2.1	tidyr	1.3.1
tidyselect	1.2.0	tidyverse	2.0.0	timechange	0.3.0
timeDate	4032.109	tinytex	0.49	tools	4.3.2
tzdb	0.4.0	urlchecker	1.0.1	usethis	2.2.2
utf8	1.2.4	utils	4.3.2	uuid	1.2-0
V8	4.4.1	vctrs	0.6.5	viridisLite	0.4.2
vroom	1.6.5	waldo	0.5.2	whisker	0.4.1
withr	3.0.0	xfun	0,41	xml2	1.3.6
xopen	1.0.0	xtable	1.8-4	yaml	2.3.8
zeallot	0.1.0	zip	2.3.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID	Artefakt-ID	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.610
com.amazonaws	aws-java-sdk-cloudformation	1.12.610
com.amazonaws	aws-java-sdk-cloudfront	1.12.610
com.amazonaws	aws-java-sdk-cloudhsm	1.12.610
com.amazonaws	aws-java-sdk-cloudsearch	1.12.610
com.amazonaws	aws-java-sdk-cloudtrail	1.12.610
com.amazonaws	aws-java-sdk-cloudwatch	1.12.610
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.610
com.amazonaws	aws-java-sdk-codedeploy	1.12.610
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.610
com.amazonaws	aws-java-sdk-cognitosync	1.12.610
com.amazonaws	aws-java-sdk-config	1.12.610
com.amazonaws	aws-java-sdk-core	1.12.610
com.amazonaws	aws-java-sdk-datapipeline	1.12.610
com.amazonaws	aws-java-sdk-directconnect	1.12.610
com.amazonaws	aws-java-sdk-directory	1.12.610
com.amazonaws	aws-java-sdk-dynamodb	1.12.610
com.amazonaws	aws-java-sdk-ec2	1.12.610
com.amazonaws	aws-java-sdk-ecs	1.12.610
com.amazonaws	aws-java-sdk-efs	1.12.610
com.amazonaws	aws-java-sdk-elasticache	1.12.610
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.610
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.610
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.610
com.amazonaws	aws-java-sdk-emr	1.12.610
com.amazonaws	aws-java-sdk-glacier	1.12.610
com.amazonaws	aws-java-sdk-glue	1.12.610
com.amazonaws	aws-java-sdk-iam	1.12.610
com.amazonaws	aws-java-sdk-importexport	1.12.610
com.amazonaws	aws-java-sdk-kinesis	1.12.610
com.amazonaws	aws-java-sdk-kms	1.12.610
com.amazonaws	aws-java-sdk-lambda	1.12.610
com.amazonaws	aws-java-sdk-logs	1.12.610
com.amazonaws	aws-java-sdk-machinelearning	1.12.610
com.amazonaws	aws-java-sdk-opsworks	1.12.610
com.amazonaws	aws-java-sdk-rds	1.12.610
com.amazonaws	aws-java-sdk-redshift	1.12.610
com.amazonaws	aws-java-sdk-route53	1.12.610
com.amazonaws	aws-java-sdk-s3	1.12.610
com.amazonaws	aws-java-sdk-ses	1.12.610
com.amazonaws	aws-java-sdk-simpledb	1.12.610
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.610
com.amazonaws	aws-java-sdk-sns	1.12.610
com.amazonaws	aws-java-sdk-sqs	1.12.610
com.amazonaws	aws-java-sdk-ssm	1.12.610
com.amazonaws	aws-java-sdk-storagegateway	1.12.610
com.amazonaws	aws-java-sdk-sts	1.12.610
com.amazonaws	aws-java-sdk-support	1.12.610
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.610
com.amazonaws	jmespath-java	1.12.610
com.clearspring.analytics	Datenstrom	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.17.1
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.16.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	tink	1.9.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	23.5.26
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.helger	profiler	1.1.1
com.ibm.icu	icu4j	72.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0,25
io.delta	delta-sharing-client_2.12	1.0.5
io.dropwizard.metrics	metrics-annotation	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metrics-healthchecks	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metrics-servlets	4.2.19
io.netty	netty-all	4.1.96.Final
io.netty	netty-buffer	4.1.96.Final
io.netty	netty-codec	4.1.96.Final
io.netty	netty-codec-http	4.1.96.Final
io.netty	netty-codec-http2	4.1.96.Final
io.netty	netty-codec-socks	4.1.96.Final
io.netty	netty-common	4.1.96.Final
io.netty	netty-handler	4.1.96.Final
io.netty	netty-handler-proxy	4.1.96.Final
io.netty	netty-resolver	4.1.96.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty-transport	4.1.96.Final
io.netty	netty-transport-classes-epoll	4.1.96.Final
io.netty	netty-transport-classes-kqueue	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.96.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	Sammlung	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	arrow-format	15.0.0
org.apache.arrow	arrow-memory-core	15.0.0
org.apache.arrow	arrow-memory-netty	15.0.0
org.apache.arrow	arrow-vector	15.0.0
org.apache.avro	avro	1.11.3
org.apache.avro	avro-ipc	1.11.3
org.apache.avro	avro-mapred	1.11.3
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.22.1
org.apache.logging.log4j	log4j-api	2.22.1
org.apache.logging.log4j	log4j-core	2.22.1
org.apache.logging.log4j	log4j-layout-template-json	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	orc-core	1.9.2-shaded-protobuf
org.apache.orc	orc-mapreduce	1.9.2-shaded-protobuf
org.apache.orc	orc-shims	1.9.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4.23
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.collections	eclipse-collections	11.1.0
org.eclipse.collections	eclipse-collections-api	11.1.0
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	jetty-continuation	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	jersey-container-servlet-core	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	jersey-common	2.40
org.glassfish.jersey.core	jersey-server	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mlflow	mlflow-spark_2.12	2.9.1
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	0.9.45-databricks
org.roaringbitmap	shims	0.9.45-databricks
org.rocksdb	rocksdbjni	8.11.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.11.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	scalatest-compatible	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1