Freigeben über

Databricks Runtime 14.1

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 14.1, unterstützt von Apache Spark 3.5.0.

Diese Version wurde von Databricks im Oktober 2023 veröffentlicht.

Tipp

Hinweise zu Databricks-Runtime-Versionen, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zu Databricks Runtime am Ende des Supports. Die EoS-Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

Neue Features und Verbesserungen

array_insert() ist für negative Indizes 1 basiert.

Die array_insert Funktion basiert auf 1 für positive und negative Indizes. Es fügt nun neues Element am Ende der Eingabearrays für den Index -1 ein. Um das vorherige Verhalten wiederherzustellen, legen Sie spark.sql.legacy.negativeIndexInArrayInsert auf true fest.

Delta-V2-Prüfpunkte, die standardmäßig mit Liquid Clusterung aktiviert sind

Neu erstellte Delta-Tabellen mit Liquid Clustering verwenden standardmäßig V2-Prüfpunkte. Siehe Kompatibilität für Tabellen mit Liquid Clustering.

Drop Delta-Tabellenfunktion in der öffentlichen Vorschau

Sie können jetzt einige Tabellenfeatures für Delta-Tabellen ablegen. Die aktuelle Unterstützung umfasst das Ablegen von deletionVectors und v2Checkpoint. Siehe Delta-Tabellenfeatures ablegen.

Delta Sharing: Empfänger können Batchabfragen für freigegebene Tabellen mit Löschvektoren ausführen (Public Preview)

Delta Sharing-Empfänger können jetzt Batchabfragen für freigegebene Tabellen ausführen, die Löschvektoren verwenden. Weitere Informationen finden Sie unter Hinzufügen von Tabellen mit Löschvektoren oder Spaltenzuordnungen zu einer Freigabe, Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen und Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen.

Delta Sharing: Empfänger können Batchabfragen für freigegebene Tabellen mit Spaltenzuordnung ausführen (Public Preview).

Delta Sharing-Empfänger können jetzt Batchabfragen für freigegebene Tabellen ausführen, die Spaltenzuordnung verwenden. Weitere Informationen finden Sie unter Hinzufügen von Tabellen mit Löschvektoren oder Spaltenzuordnungen zu einer Freigabe, Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen und Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen.

Streamen aus Unity Catalog-Ansichten in der öffentlichen Vorschau

Sie können strukturiertes Streaming verwenden, um Streaming-Lesevorgänge aus Ansichten durchzuführen, die im Unity Catalog registriert sind. Azure Databricks unterstützt nur Streaminglesevorgänge aus Ansichten, die für Deltatabellen definiert sind. Siehe Lesen einer Unity Catalog-Ansicht als Stream.

Apache Pulsar-Connector in der öffentlichen Vorschau

Sie können strukturiertes Streaming verwenden, um Daten von Apache Pulsar in Azure Databricks zu streamen. Siehe Streamen von Apache Pulsar.

Aktualisierter Snowflake-Treiber

Der Snowflake JDBC-Driver verwendet jetzt Version 3.13.33.

SQL Sitzungsvariablen

In dieser Version wird die Möglichkeit eingeführt, temporäre Variablen in einer Sitzung zu deklarieren, die innerhalb von Abfragen festgelegt und dann darauf verwiesen werden kann. Siehe Variablen.

Benannter Parameteraufruf für SQL und Python UDF.

Sie können jetzt den Aufruf des benannten Parameters für SQL und Python UDF verwenden.

Tabellenargumente für Funktionen zur Unterstützung von Partitionierung und Sortierung

Sie können nun die Klauseln PARTITION BY und ORDER BY verwenden, um zu steuern, wie Tabellenargumente während eines Funktionsaufrufs an eine Funktion übergeben werden.

Neue und erweiterte integrierte SQL-Funktionen

Die folgenden integrierten Funktionen wurden hinzugefügt:

  • from_xml: Analysiert einen XML-Code STRING in eine STRUCT.
  • schema_of_xml: Leitet ein Schema von einem XML ab STRING.
  • session_user: Gibt den angemeldeten Benutzer zurück.
  • try_reflect: Gibt NULL anstelle der Ausnahme zurück, wenn eine Java-Methode fehlschlägt.

Die folgenden integrierten Funktionen wurden verbessert:

  • mode: Unterstützung für einen optionalen Parameter, der ein deterministisches Ergebnis erzwingt.
  • to_char: Neuer Support für DATE, TIMESTAMP und BINARY.
  • to_varchar: Neuer Support für DATE, TIMESTAMP und BINARY.

Verbesserte Handhabung korrelierter Unterabfragen

Die Möglichkeit, die Korrelation in Unterabfragen zu verarbeiten, wurde erweitert:

  • Handhabung von Limit und Order by in korrelierten skalaren (lateralen) Unterabfragen.
  • Unterstützung von Fensterfunktionen in korrelierten skalaren Unterabfragen.
  • Unterstützung korrelierter Referenzen in Join-Prädikaten für skalare und laterale Unterabfragen

Behavior Change

Strenge Typprüfung in Photon Parquet-Leser

Photon schlägt fehl, wenn versucht wird, einen Dezimalwert aus einer Parquet-Spalte zu lesen, die kein Dezimaltyp ist. Photon schlägt auch fehl, wenn ein Bytearray mit fester Länge aus Parquet als Zeichenfolge gelesen wird.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • filelock von 3.12.2 auf 3.12.3
    • s3transfer von 0.6.1 auf 0.6.2
  • Aktualisierte Java-Bibliotheken:
    • com.uber.h3 von 3.7.0 bis 3.7.3
    • io.airlift.aircompressor von 0.24 auf 0.25
    • io.delta.delta-sharing-spark_2.12 von 0.7.1 auf 0.7.5
    • io.netty.netty-all von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-buffer von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-codec von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-codec-http von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-codec-http2 von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-codec-socks von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-common von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-handler von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-handler-proxy von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-resolver von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-transport von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-transport-classes-epoll von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-transport-classes-kqueue von 4.1.93.Final auf 4.1.96.Final
    • io.netty.netty-transport-native-epoll von 4.1.93.Final-linux-x86_64 auf 4.1.96.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue von 4.1.93.Final-osx-x86_64 auf 4.1.96.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common von 4.1.93.Final auf 4.1.96.Final
    • net.snowflake.snowflake-jdbc von 3.13.29 bis 3.13.33
    • org.apache.orc.orc-core von 1.9.0-shaded-protobuf auf 1.9.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce von 1.9.0-shaded-protobuf auf 1.9.1-shaded-protobuf
    • org.apache.orc.orc-shims von 1.9.0 auf 1.9.1

Apache Spark

Databricks Runtime 14.1 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 14.0 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

  • [SPARK-45088] [DBRRM-557] Revert „[SC-142785][PYTHON][CONNECT] Getitem soll mit doppelten Spalten funktionieren“
  • [SPARK-43453] [DBRRM-557] Wiederherstellen von „[SC-143135][PS] Ignorieren names des Zeitpunkts MultiIndex axis=1 für concat“
  • [SPARK-45225] [SC-143207][SQL] XML: Unterstützung für XSD-Datei-URL
  • [SPARK-45156] [SC-142782][SQL] Umschließen von inputName durch Backticks in der NON_FOLDABLE_INPUT-Fehlerklasse
  • [SPARK-44910] [SC-143082][SQL] Encoders.bean unterstützt keine Superklassen mit generischen Typargumenten
  • [SPARK-43453] [SC-143135][PS] Ignorieren des names von MultiIndex wenn axis=1 für concat
  • [SPARK-44463] [SS][CONNECT] Verbessern der Fehlerbehandlung für Connect Steaming Python Worker
  • [SPARK-44960] [SC-141023][UI] Unescape und Consist-Fehlerzusammenfassung über UI-Seiten
  • [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] Hinzufügen von from_xml und schema_of_xml zur Pyspark-, Spark Connect- und SQL-Funktion
  • [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5] Fehlende Pakete in setup.py hinzufügen
  • [SPARK-45151] [SC-142861][CORE][UI] Unterstützung für Threadabbild auf Aufgabenebene
  • [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] Beendigungstests für streamingQueryListener und foreachBatch
  • [SPARK-45084] [SC-142828][SS] StateOperatorProgress, um genaue effektive Shuffle-Partitionsnummer zu verwenden
  • [SPARK-44872] [SC-142405][CONNECT] Servertests infra und ReattachableExecuteSuite
  • [SPARK-45197] [SC-142984][CORE] StandaloneRestServer zum hinzufügen von JavaModuleOptions zu Treibern bringen
  • [SPARK-44404] [SC-139601][SQL] Zuweisen von Namen zur Fehlerklasse LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
  • [SPARK-44647] [SC-142297][SQL] Unterstützung von SPJ, bei dem Verknüpfungsschlüssel kleiner als Clusterschlüssel sind
  • [SPARK-45088] [SC-142785][PYTHON][CONNECT]getitem zum Arbeiten mit duplizierten Spalten bringen
  • [SPARK-45128] [SC-142851][SQL] Unterstützung von CalendarIntervalType in Arrow
  • [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] Vermeiden des Spark Connect ML-Modells zum Ändern von Eingabe-Pandas-Datenframes
  • [SPARK-45034] [SC-142959][SQL] Unterstützungsfunktion für den deterministischen Modus
  • [SPARK-45173] [SC-142931][UI] Entfernen sie einige unnötige SourceMapping-Dateien in der Benutzeroberfläche
  • [SPARK-45162] [SC-142781][SQL] Unterstützen von Maps und Arrayparametern, die über call_function konstruiert wurden
  • [SPARK-45143] [SC-142840][PYTHON][CONNECT] Machen Sie PySpark kompatibel mit PyArrow 13.0.0
  • [SPARK-45174] [SC-142837][CORE] spark.deploy.maxDrivers unterstützen
  • [SPARK-45167] [SC-142956][CONNECT][PYTHON] Python-Client muss release_all aufrufen
  • [SPARK-36191] [SC-142777][SQL] Behandeln von Grenzwerten und Reihenfolge nach korrelierten skalaren (lateralen) Unterabfragen
  • [SPARK-45159] [SC-142829][PYTHON] Behandeln von benannten Argumenten nur bei Bedarf
  • [SPARK-45133] [SC-142512][CONNECT] Stellen Sie sicher, dass Spark Connect-Abfragen ABGESCHLOSSEN werden, wenn die letzte Ergebnisaufgabe abgeschlossen wird
  • [SPARK-44801] [SC-140802][SQL][UI] Erfassen der Analyse fehlgeschlagener Abfragen in Listener und UI
  • [SPARK-45139] [SC-142527][SQL] Hinzufügen von DatabricksDialect zur Verarbeitung der SQL-Typkonvertierung
  • [SPARK-45157] [SC-142546][SQL] Vermeiden wiederholter if-Überprüfungen in [On|Off|HeapColumnVector
  • [SPARK-45077] „[SC-142069][UI] Upgrade dagre-d3.js von 04.3 auf 0.6.4“ zurücksetzen
  • [SPARK-45145] [SC-142521][BEISPIEL] JavaSparkSQLCli-Beispiel hinzufügen
  • [SPARK-43295] Wiederherstellen von „[SC-142254][PS] Typspalten für Unterstützungszeichenfolgen für DataFrameGroupBy.sum„
  • [SPARK-44915] [SC-142383][CORE] Überprüfen der Prüfsumme der neu montierten PVC-Shuffle-Daten vor der Wiederherstellung
  • [SPARK-45147] [SC-142524][CORE] Verwendung von System.setSecurityManager entfernen
  • [SPARK-45104] [SC-142206][UI] Upgrade von graphlib-dot.min.js auf 1.0.2
  • [SPARK-44238] [SC-141606][CORE][SQL] Einführung einer neuen readFrom-Methode mit Bytearrayeingabe für BloomFilter
  • [SPARK-45060] [SC-141742][SQL] Beheben eines internen Fehlers aus to_char() im NULL-Format
  • [SPARK-43252] [SC-142381][SQL] Ersetzen der Fehlerklasse _LEGACY_ERROR_TEMP_2016 durch einen internen Fehler
  • [SPARK-45069] [SC-142279][SQL] SQL-Variable sollte immer nach äußerem Verweis aufgelöst werden
  • [SPARK-44911] [SC-142388][SQL] Erstellen einer Strukturtabelle mit ungültiger Spalte sollte Fehlerklasse zurückgeben
  • [SPARK-42754] [SC-125567][SQL][UI] Beheben des Abwärtskompatibilitätsproblems bei der geschachtelten SQL-Ausführung
  • [SPARK-45121] [SC-142375][CONNECT][PS] Unterstützung von Series.empty für Spark Connect.
  • [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/etc. sollte in einem Spaltenvektor funktionieren, der über ein Wörterbuch verfügt
  • [SPARK-45027] [SC-142248][PYTHON] Interne Funktionen/Variablen in pyspark.sql.functions vor dem automatischen Abschluss ausblenden
  • [SPARK-45073] [SC-141791][PS][CONNECT] Ersetzen von LastNotNull durch Last(ignoreNulls=True)
  • [SPARK-44901] [SC-141676][SQL] Manueller Backport: Hinzufügen einer API in Python UDTF ‚analyze‘-Methode zum Zurückgeben von Partitionierungs-/Sortierungsausdrücken
  • [SPARK-45076] [SC-141795][PS] Wechseln zur in repeat integrierten Funktion
  • [SPARK-44162] [SC-141605][CORE] Unterstützen von G1GC in Spark-Metriken
  • [SPARK-45053] [SC-141733][PYTHON][MINOR] Protokollverbesserung in Python-Versionsdiskrepanz
  • [SPARK-44866] [SC-142221][SQL] Hinzufügen von SnowflakeDialect zum ordnungsgemäßen Behandeln des BOOLEAN-Typs
  • [SPARK-45064] [SC-141775][PYTHON][CONNECT] Hinzufügen des fehlenden scale Parameters in ceil/ceiling
  • [SPARK-45059] [SC-141757][CONNECT][PYTHON] Hinzufügen von try_reflect-Funktionen zu Scala und Python
  • [SPARK-43251] [SC-142280][SQL] Ersetzen der Fehlerklasse _LEGACY_ERROR_TEMP_2015 durch einen internen Fehler
  • [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] Geben Sie die Ausgabespaltennamen der Funktionsaliases an, die mit SQL konsistent sind
  • [SPARK-44239] [SC-141502][SQL] Freier Speicher, der von großen Vektoren zugewiesen wird, wenn Vektoren zurückgesetzt werden
  • [SPARK-43295] [SC-142254][PS] Unterstützen von Zeichenfolgentypspalten für DataFrameGroupBy.sum
  • [SPARK-45080] [SC-142062][SS] Explizite Aufruf der Unterstützung für Columnar in DSv2-Streamingdatenquellen
  • [SPARK-45036] [SC-141768][SQL] SPJ: Vereinfachen der Logik für die Behandlung teilweise gruppierter Verteilung
  • [SPARK-45077] [SC-142069][UI] Upgrade dagre-d3.js von 0.4.3 auf 0.6.4
  • [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] Funktion floor/round/bround akzeptiert Spaltentyp scale
  • [SPARK-45090] [SC-142019][PYTHON][CONNECT] DataFrame.{cube, rollup} Unterstützen von Spalten-Ordnungszahlen
  • [SPARK-44743] [SC-141625][SQL] try_reflect-Funktion hinzufügen
  • [SPARK-45086] [SC-142052][UI] Hexadezimaler Code für Threadsperrhashcode anzeigen
  • [SPARK-44952] [SC-141644][SQL][PYTHON] Unterstützung benannter Argumente in Aggregat-Pandas-UDFs
  • [SPARK-44987] [SC-141552][SQL] Zuweisen eines Namens zur Fehlerklasse _LEGACY_ERROR_TEMP_1100
  • [SPARK-45032] [SC-141730][CONNECT] Beheben von Kompilierungswarnungen im Zusammenhang mit Top-level wildcard is not allowed and will error under -Xsource:3
  • [SPARK-45048] [SC-141629][CONNECT] Hinzufügen zusätzlicher Tests für Python-Client und anfügende Ausführung
  • [SPARK-45072] [SC-141807][CONNECT] Korrigieren von äußeren Bereichen für Ammonitklassen
  • [SPARK-45033] [SC-141759][SQL] Unterstützen von Maps nach parametrisierter sql()
  • [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] Funktion repeat akzeptiert Spaltentyp n
  • [SPARK-44860] [SC-141103][SQL] Funktion SESSION_USER hinzufügen
  • [SPARK-45074] [SC-141796][PYTHON][CONNECT] DataFrame.{sort, sortWithinPartitions} unterstützt Spalten-Ordnungszahlen
  • [SPARK-45047] [SC-141774][PYTHON][CONNECT] DataFrame.groupBy unterstützt Ordnungszahlen
  • [SPARK-44863] [SC-140798][UI] Hinzufügen einer Schaltfläche zum Herunterladen des Threadabbilds als TXT in Spark UI
  • [SPARK-45026] [SC-141604][CONNECT] spark.sql sollte Datentypen unterstützen, die nicht mit Arrow kompatibel sind
  • [SPARK-44999] [SC-141145][CORE] Umgestalten von ExternalSorter, um Überprüfungen von shouldPartition beim Aufrufen von getPartition zu reduzieren
  • [SPARK-42304] [SC-141501][SQL] _LEGACY_ERROR_TEMP_2189 in GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION umbenennen
  • [SPARK-43781] [SC-139450][SQL] Korrigieren von IllegalStateException beim gemeinsamen Gruppieren von zwei Datasets, die von derselben Quelle abgeleitet sind
  • [SPARK-45018] [SC-141516][PYTHON][CONNECT] Hinzufügen von CalendarIntervalType zum Python-Client
  • [SPARK-45024] [SC-141513][PYTHON][CONNECT] Filtern einiger Konfigurationen in der Sitzungserstellung
  • [SPARK-45017] [SC-141508][PYTHON] CalendarIntervalType zu PySpark hinzufügen
  • [SPARK-44720] [SC-139375][CONNECT] Verwenden von Encoder anstelle von AgnosticEncoder
  • [SPARK-44982] [SC-141027][CONNECT] Kennzeichnen von Spark Connect-Serverkonfigurationen als statisch
  • [SPARK-44839] [SC-140900][SS][CONNECT] Bessere Fehlerprotokollierung, wenn der Benutzer versucht, Spark-Sitzung zu serialisieren
  • [SPARK-44865] [SC-140905][SS] Erstellen der StreamingRelationV2-Unterstützungsmetadatenspalte
  • [SPARK-45001] [SC-141141][PYTHON][CONNECT] Implementieren von DataFrame.foreachPartition
  • [SPARK-44497] [SC-141017][WEBUI] Aufgabenpartitions-ID in Aufgabentabelle anzeigen
  • [SPARK-45006] [SC-141143][UI] Verwenden des gleichen Datumsformats anderer UI-Datumselemente für die X-Achse von Zeitachsen
  • [SPARK-45000] [SC-141135][PYTHON][CONNECT] Implementieren von DataFrame.foreach
  • [SPARK-44967] [SC-141137][SQL][CONNECT] Einheit sollte zuerst berücksichtigt werden, bevor Boolescher Wert für TreeNodeTag verwendet wird
  • [SPARK-44993] [SC-141088][CORE] Hinzufügen von ShuffleChecksumUtils.compareChecksums durch erneutes Wiederverwenden von ShuffleChecksumTestHelp.compareChecksums
  • [SPARK-44807] [SC-140176][CONNECT] Hinzufügen von Dataset.metadataColumn zum Scala-Client
  • [SPARK-44965] [SC-141098][PYTHON] Interne Funktionen/Variablen von pyspark.sql.functions ausblenden
  • [SPARK-44983] [SC-141030][SQL] Konvertieren der Binärdatei in eine Zeichenfolge nach to_char den Formaten: hex, base64, utf-8
  • [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] Beheben von geerbten namedtuples, sodass sie in createDataFrame funktionieren
  • [SPARK-44985] [SC-141033][CORE] Verwenden von toString anstelle von stacktrace für Task Reaper threadDump
  • [SPARK-44984] [SC-141028][PYTHON][CONNECT] _get_alias aus DataFrame entfernen
  • [SPARK-44975] [SC-141013][SQL] Entfernen der nutzlosen BinaryArithmetic-Außerkraftsetzung aufgelöst
  • [SPARK-44969] [SC-140957][SQL] Wiederverwenden von ArrayInsert in ArrayAppend
  • [SPARK-44549] [SC-140714][SQL] Unterstützen von Fensterfunktionen in korrelierten skalaren Unterabfragen
  • [SPARK-44938] [SC-140811][SQL] Ändern des Standardwerts von spark.sql.maxSinglePartitionBytes auf 128m
  • [SPARK-44918] [SC-140816][SQL][PYTHON] Unterstützung benannter Argumente in Skalar-Python/Pandas UDFs
  • [SPARK-44966] [SC-140907][CORE][CONNECT] Ändern der nie geänderten var in val
  • [SPARK-41471] [SC-140804][SQL] Reduzieren von Spark-Shuffle, wenn nur eine Seite einer Verknüpfung KeyGroupedPartitioning ist
  • [SPARK-44214] [SC-140528][CORE] Unterstützen der Spark Driver Live Log UI
  • [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44776] [SC-140519][CONNECT] Hinzufügen von ProducedRowCount zu SparkListenerConnectOperationFinished
  • [SPARK-42017] [SC-140765][PYTHON][CONNECT] df['col_name'] sollte den Spaltennamen überprüfen
  • [SPARK-40178] [SC-140433][SQL][COONECT] Unterstützen Sie Hinweise mit Leichtigkeit für PySpark und R
  • [SPARK-44840] [SC-140593][SQL] array_insert() zu 1-basiert für negative Indizes machen
  • [SPARK-44939] [SC-140778][R] Unterstützung von Java 21 in SparkR SystemRequirements
  • [SPARK-44936] [SC-140770][CORE] Vereinfachen des Protokolls, wenn Spark HybridStore auf den Speichergrenzwert trifft
  • [SPARK-44908] [SC-140712][ML][CONNECT] Kreuzvalidiererfunktionalität foldCol param beheben
  • [SPARK-44816] [SC-140717][CONNECT] Fehlermeldung verbessern, wenn die UDF-Klasse nicht gefunden wird
  • [SPARK-44909] [SC-140710][ML] Starten des Taschenlampenverteilers-Protokollstreamingservers überspringen, wenn er nicht verfügbar ist
  • [SPARK-44920] [SC-140707][CORE] Verwenden Sie await() anstelle von awaitUninterruptibly() in TransportClientFactory.createClient()
  • [SPARK-44905] [SC-140703][SQL] Stateful lastRegex verursacht NullPointerException für eval für regexp_replace
  • [SPARK-43987] [SC-139594][Shuffle] Separate finalizeShuffleMerge-Verarbeitung in dedizierte Threadpools
  • [SPARK-42768] [SC-140549][SQL] Aktivieren des zwischengespeicherten Plans, standardmäßig AQE anwenden
  • [SPARK-44741] [SC-139447][CORE] Unterstützung regex-basierter MetricFilter in StatsdSink
  • [SPARK-44751] [SC-140532][SQL] XML FileFormat Interface-Implementierung
  • [SPARK-44868] [SC-140438][SQL] Datum/Uhrzeit in Zeichenfolge konvertieren nach to_char/to_varchar
  • [SPARK-44748] [SC-140504][SQL] Abfrageausführung für die PARTITION BY-Klausel in UDTF TABLE-Argumenten
  • [SPARK-44873] [SC-140427] Unterstützung der Änderungsansicht mit geschachtelten Spalten im Hive-Client
  • [SPARK-44876] [DBRRM-140431][SC-140431][PYTHON] Korrigieren der für Arrow optimierten Python-UDF in Spark Connect
  • [SPARK-44520] [SC-137845][SQL] Ersetzen des Ausdrucks UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY durch UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY und Offenlegungsstamm AE
  • [SPARK-42664] [SC-139769][CONNECT] Unterstützen der bloomFilter-Funktion für DataFrameStatFunctions
  • [SPARK-43567] [SC-139227][PS] Unterstützung von use_na_sentinel für factorize
  • [SPARK-44859] [SC-140254][SS] Korrigieren des falschen Eigenschaftennamens im strukturierten Streaming-Dokument
  • [SPARK-44822] [DBRRM-140182][PYTHON][SQL] Festlegen von Python-UDTFs als standardmäßig nicht deterministisch
  • [SPARK-44731] [SC-139524][PYTHON][CONNECT] TimestampNTZ funktioniert mit Literalen in Python Spark Connect
  • [SPARK-44836] [DBRRM-140180][SC-140228][PYTHON] Umgestalten von Arrow-Python-UDTF
  • [SPARK-44714] [SC-139238] Erleichterte Einschränkung der LCA-Auflösung in Bezug auf Abfragen mit Having
  • [SPARK-44749] [SC-139664][SQL][PYTHON] Unterstützung benannter Argumente in Python UDTF
  • [SPARK-44737] [SC-139512][SQL][UI] Sollte JSON-Formatfehler nicht auf der SQL-Seite für Nicht-SparkThrowables auf der SQL-Registerkarte anzeigen
  • [SPARK-44665] [SC-139307][PYTHON] Hinzufügen von Unterstützung für Pandas DataFrame assertDataFrameEqual
  • [SPARK-44736] [SC-139622][CONNECT] Hinzufügen von Dataset.explode zu Spark Connect Scala Client
  • [SPARK-44732] [SC-139422][SQL] Integrierte XML-Datenquellenunterstützung
  • [SPARK-44694] [SC-139213][PYTHON][CONNECT] Umgestalten aktiver Sitzungen und Verfügbarmachen als API
  • [SPARK-44652] [SC-138881] Auslösen eines Fehlers, wenn nur ein DF keine ist
  • [SPARK-44562] [SC-138824][SQL] Add OptimizeOneRowRelationSubquery in Batch der Unterabfrage
  • [SPARK-44717] [SC-139319][PYTHON][PS] TimestampNTZ beim Resampling respektieren
  • [SPARK-42849] [SC-139365][SQL] Sitzungsvariablen
  • [SPARK-44236] [SC-139239][SQL] Deaktivieren von WholeStageCodegen bei Festlegung von spark.sql.codegen.factoryMode auf NO_CODEGEN
  • [SPARK-44695] [SC-139316][SQL] Fehlermeldung für DataFrame.toDF verbessern
  • [SPARK-44680] [SC-139234][SQL] Verbessern des Fehlers für Parameter in DEFAULT
  • [SPARK-43402] [SC-138321][SQL] FileSourceScanExec unterstützt Pushdown-Datenfilter mit skalarer Unterabfrage
  • [SPARK-44641] [SC-139216][SQL] Falsches Ergebnis in bestimmten Szenarien, wenn SPJ nicht ausgelöst wird
  • [SPARK-44689] [SC-139219][CONNECT] Machen Sie die Ausnahmebehandlung der Funktion SparkConnectPlanner#unpackScalarScalaUDF universeller
  • [SPARK-41636] [SC-139061][SQL] Stellen Sie sicher, dass selectFilters-Prädikate in deterministischer Reihenfolge zurückgegeben werden
  • [SPARK-44132] [SC-139197][SQL] Stream von Verknüpfungsspaltennamen materialisieren, um Codegen-Fehler zu vermeiden
  • [SPARK-42330] [SC-138838][SQL] Zuweisen des Namens RULE_ID_NOT_FOUND zur Fehlerklasse _LEGACY_ERROR_TEMP_2175
  • [SPARK-44683] [SC-139214][SS] Die Protokollierungsebene wird nicht ordnungsgemäß an den RocksDB-Zustandsspeicheranbieter übergeben
  • [SPARK-44658] [SC-138868][CORE] ShuffleStatus.getMapStatus sollte None anstelle von Some(null) zurückgeben
  • [SPARK-44603] [SC-138353] Hinzufügen von pyspark.testing zu setup.py
  • [SPARK-44252] [SC-137505][SS] Definieren einer neuen Fehlerklasse, und verwenden für den Fall, in dem der Ladezustand von DFS fehlschlägt
  • [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] Auslösen eines Fehlers, wenn UDF nicht deserialisierbar ist.
  • [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] Wiederholen von ExecutePlan, falls Server mit der ersten Anforderung nicht erreicht wurde
  • [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Entfernen von Catalyst-Abhängigkeit von Connect-Client
  • [SPARK-44059] [SC-138833][SQL] Hinzufügen besserer Fehlermeldungen für SQL-Benannte Argumente
  • [SPARK-44620] [SC-138831][SQL][PS][CONNECT] ResolvePivot zum Beibehalten von Plan_ID_TAG bringen
  • [SPARK-43838] [SC-137413][SQL] Beheben von Unterabfragen in einer einzelnen Tabelle mit Klauseln kann nicht optimiert werden
  • [SPARK-44555] [SC-138820][SQL] Verwenden von checkError() zum Überprüfen der Ausnahme in der Befehlssuite und Zuweisen einiger Fehlerklassennamen
  • [SPARK-44280] [SC-138821][SQL] Hinzufügen von convertJavaTimestampToTimestamp in JDBCDialect API
  • [SPARK-44602] [SC-138337][SQL][CONNECT][PS] WidenSetOperationTypes zum Beibehalten der Plan_ID_TAG bringen
  • [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
  • [SPARK-43838] Wiederherstellen von „[SC-137413][SQL] Unterabfrage auf einzelnem Ta... korrigieren
  • [SPARK-44538] [SC-138178][CONNECT][SQL] Reaktivieren von Row.jsonValue und friends
  • [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Wieder anfügbare Ausführung in Spark Connect
  • [SPARK-43838] [SC-137413][SQL] Beheben von Unterabfragen in einer einzelnen Tabelle mit Klauseln kann nicht optimiert werden
  • [SPARK-44587] [SC-138315][SQL][CONNECT] Erhöhen des Rekursionslimits für Protobuf-Marshaller
  • [SPARK-44605] [SC-138338][CORE] Interne ShuffleWriteProcessor-API verfeinern
  • [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Hinzufügen einer Spark-Benutzeroberflächenseite für Spark Connect
  • [SPARK-44585] [SC-138286][MLLIB] Beheben der Warnungsbedingung in MLLib RankingMetrics ndcgAk
  • [SPARK-44198] [SC-138137][CORE] Unterstützen der Verteilung der Protokollebene an die Executoren
  • [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType-Unterstützungsfallback
  • [SPARK-44425] [SC-138135][CONNECT] Überprüfen, ob die von Benutzern bereitgestellte sessionId eine UUID ist
  • [SPARK-43611] [SC-138051][SQL][PS][CONNCECT] ExtractWindowExpressions zum Beibehalten der PLAN_ID_TAG bringen
  • [SPARK-44560] [SC-138117][PYTHON][CONNECT] Verbessern von Tests und Dokumentationen für Arrow Python UDF
  • [SPARK-44482] [SC-138067][CONNECT] Connect-Server sollte die Bindungsadresse angeben
  • [SPARK-44528] [SC-138047][CONNECT] Unterstützung der ordnungsgemäßen Verwendung von hasattr() für Connect Dataframe
  • [SPARK-44525] [SC-138043][SQL] Fehlermeldung verbessern, wenn die Invoke-Methode nicht gefunden wird
  • [SPARK-44355] [SC-137878][SQL] Verschieben von WithCTE in Befehlsabfragen

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Siehe Databricks Runtime 14.1 Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Klicken 8.0.4 comm 0.1.2
contourpy 1.0.5 cryptography 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.3 fonttools 4.25.0 GCC-Laufzeitbibliothek 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keyring 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 Notebook 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 Packen 22.0
Pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 sechs 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0
SciPy 1.10.1

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-02-10 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 Blob 1.2.4
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 Anmeldeinformationen 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 Diagramm 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
Evaluieren 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
Grafiken 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 Lebenszyklus 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
Methoden 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Fortschritt 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0.45 Tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-spark_2.12 0.7.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1