Freigeben über

Databricks Runtime 14.3 LTS

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zur Databricks Runtime-Version 14.3 LTS, die von Apache Spark 3.5.0 unterstützt wird.

Diese Version wurde von Databricks im Februar 2024 veröffentlicht.

Hinweis

LTS bedeutet, dass diese Version langfristig unterstützt wird. Weitere Informationen finden Sie unter Databricks Runtime LTS-Versionslebenszyklus.

Tipp

Hinweise zu Databricks-Runtime-Versionen, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zu Databricks Runtime am Ende des Supports. Die EoS-Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

Neue Features und Verbesserungen

Workspace-Dateisystemunterstützung in PySpark-UDFs (User-Defined Functions) auf freigegebenen Clustern

PySpark-UDFs auf freigegebenen Clustern können jetzt Python-Module aus Git-Ordnern, Arbeitsbereichsdateien oder UC-Volumesimportieren.

Weitere Informationen zum Verwenden von Modulen in Git-Ordnern oder Arbeitsbereichsdateien finden Sie unter Arbeiten mit Python- und R-Modulen.

Unterstützung für MERGE-Optimierungen für Löschvektoren ohne Photon

Photon ist für MERGE-Vorgänge nicht mehr erforderlich, um Löschvektoroptimierungen zu nutzen. Weitere Informationen finden Sie unter Was sind Löschvektoren?.

Spark-Katalog-APIs werden jetzt vollständig im Modus für den gemeinsamen Zugriff unterstützt.

Sie können jetzt alle Funktionen in der spark.catalog-API sowohl in Python als auch in Scala für Computeressourcen verwenden, die mit dem Modus für den gemeinsamen Zugriff konfiguriert sind.

Delta UniForm ist jetzt allgemein verfügbar.

UniForm ist jetzt allgemein verfügbar und verwendet die Tabellenfunktion IcebergCompatV2. Sie können UniForm jetzt für vorhandene Tabellen aktivieren oder aktualisieren. Weitere Informationen finden Sie unter Verwenden von UniForm zum Lesen von Deltatabellen mit Iceberg-Clients.

Neue SQL-Funktion „EXECUTE IMMEDIATE“

Sie können jetzt die EXECUTE IMMEDIATE-Syntax verwenden, um parametrisierte Abfragen in SQL zu unterstützen. Weitere Informationen finden Sie unter EXECUTE IMMEDIATE.

Neuberechnen von Statistiken mit Überspringen von Daten für Delta-Tabellen

Sie können Statistiken, die im Delta-Protokoll gespeichert sind, jetzt neu berechnen, nachdem Sie zum Überspringen von Daten verwendete Spalten geändert haben. Weitere Informationen finden Sie unter Angeben von Delta-Statistikspalten.

Abfragen von Statusinformationen für zustandsbehaftete Streamingabfragen

Sie können jetzt Daten und Metadaten zu strukturierten Streamingstatus abfragen. Weitere Informationen finden Sie unter Lesen von strukturierten Streamingstatusinformationen.

Verwenden von Microsoft Entra ID für die Kafka-Authentifizierung in freigegebenen Clustern

Sie können jetzt Event Hubs-Dienste über OAuth bei Microsoft Entra ID für Computeressourcen authentifizieren, die mit dem Modus für gemeinsam genutzten Zugriff konfiguriert sind. Weitre Informationen finden Sie unter Dienstprinzipal-Authentifizierung mit Microsoft Entra ID und Azure Event Hubs.

Unterstützung für die Datei- und Partitionsbereinigung zum Verbessern der Abfrageleistung hinzugefügt

Um einige Abfragen zu beschleunigen, die in JOIN-Bedingungen Gleichheit mit Nulltoleranz erfordern, werden jetzt DynamicFilePruning und DynamicPartitionPruning für den EqualNullSafe-Operator in Joins unterstützt.

Deklarieren temporärer Variablen in einer SQL-Sitzung

In dieser Version wird die Möglichkeit eingeführt, temporäre Variablen in einer Sitzung zu deklarieren, die innerhalb von Abfragen festgelegt und dann darauf verwiesen werden kann. Siehe Variablen.

Thrift-Serverupdates zum Entfernen nicht verwendeter Features

Der Thrift-Servercode wurde aktualisiert, um Code für veraltete Features zu entfernen. Aufgrund dieser Änderungen werden die folgenden Konfigurationen nicht mehr unterstützt:

  • Die Hive-Zusatz-JARs, die mit der hive.aux.jars.path-Eigenschaft konfiguriert sind, werden für hive-thriftserver-Verbindungen nicht mehr unterstützt.
  • Die globale Hive-init-Datei (.hiverc), deren Speicherort mit der Eigenschaft hive.server2.global.init.file.location oder der Umgebungsvariable HIVE_CONF_DIR konfiguriert wird, wird für hive-thriftserver-Verbindungen nicht mehr unterstützt.

Verwenden von Truststore- und Keystoredateien in Unity-Katalogvolumes

Sie können nun Truststore- und Keystoredateien in Unity-Katalogvolumes verwenden, um sich bei einer Confluent Schema Registry für Avro- oder Protokollpufferdaten zu authentifizieren. Weitere Informationen finden Sie in der Dokumentation zu Avro- oder Protokollpuffern.

Unterstützung für native XML-Dateiformate (Public Preview)

Native XML-Dateiformatunterstützung befindet sich jetzt in der Public Preview. Die XML-Dateiformatunterstützung ermöglicht das Aufnehmen, Abfragen und Analysieren von XML-Daten für die Batchverarbeitung oder das Streaming. Sie kann Schema- und Datentypen automatisch ableiten und entwickeln, SQL-Ausdrücke wie from_xml unterstützen und XML-Dokumente generieren. Sie erfordert keine externen Jars und arbeitet nahtlos mit Auto Loader, read_files, COPY INTO und Delta Live Tables. Weitere Informationen unter Lesen und Schreiben von XML-Dateien.

Unterstützung für den Cloudflare R2-Speicher (Public Preview)

Sie können Cloudflare R2 jetzt als Cloudspeicher für Daten verwenden, die in Unity Catalog registriert sind. Cloudflare R2 ist in erster Linie für Delta Sharing-Anwendungsfälle vorgesehen, in denen Sie die von Cloudanbietern berechneten Datenausgangsgebühren vermeiden möchten, wenn Daten regionsübergreifend übermittelt werden. Der R2-Speicher unterstützt alle Databricks-Daten und KI-Ressourcen, die in AWS S3, Azure Data Lake Storage Gen2 und Google Cloud Storage unterstützt werden. Weitere Informationen finden Sie unter Verwenden von Cloudflare R2-Replikaten oder Migrieren von Speicher zu R2 und Erstellen von Speicheranmeldeinformationen zum Herstellen einer Verbindung mit Cloudflare R2.

Unterstützung für Spark- und dbutils-Zugriff auf Arbeitsbereichsdateien auf Unity Catalog-Clustern mit gemeinsamen Zugriff

Spark- und dbutils-Lese- und Schreibzugriff auf Arbeitsbereichsdateien wird nun auf Unity Catalog-Clustern im Modus für gemeinsam genutzten Zugriff unterstützt. Weitere Informationen finden Sie unter Arbeiten mit Arbeitsbereichsdateien.

Unterstützung von Init-Skripts und Clusterbibliotheken auf Unity Catalog-Clustern mit gemeinsamen Zugriff

Die Installation clusterbezogener Init-Skripts und Python- und JAR-Bibliotheken in Unity Catalog-Clustern im Modus für gemeinsam genutzten Zugriff, einschließlich der Installation mit Clusterrichtlinien, ist jetzt allgemein verfügbar. Databricks empfiehlt, init-Skripts und -Bibliotheken aus Unity Catalog-Volumes zu installieren.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • „fastjsonschema“ von 2.19.0 auf 2.19.1
    • „filelock“ von 3.12.4 auf 3.13.1
    • „googleapis-common-protos“ von 1.61.0 auf 1.62.0
    • „packaging“ von 22.0 auf 23.2
  • Aktualisierte R-Bibliotheken:
    • „foreign“ von 0.8-82 auf 0.8-85
    • „nlme“ von 3.1-162 auf 3.1-163
    • „rpart“ von 4.1.19 auf 4.1.21
  • Aktualisierte Java-Bibliotheken:
    • „com.databricks.databricks-sdk-java“ von 0.7.0 auf 0.13.0
    • „org.apache.orc.orc-core“ von „1.9.1-shaded-protobuf“ auf „1.9.2-shaded-protobuf“
    • „org.apache.orc.orc-mapreduce“ von „1.9.1-shaded-protobuf“ auf „1.9.2-shaded-protobuf“
    • „org.apache.orc.orc-shims“ von 1.9.1 auf 1.9.2
    • „org.scala-lang.modules.scala-collection-compat_2.12“ von 2.9.0 auf 2.11.0

Apache Spark

Databricks Runtime 14.3 umfasst Apache Spark 3.5.0. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 14.2 enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

  • [SPARK-46541] [SC-153546][SQL][CONNECT] Korrektur des mehrdeutigen Spaltenverweises in Self-Joins
  • [SPARK-45433] Wiederherstellung von „[SC-145163][SQL] Fix von CSV/JSON Schema-Inferenz…
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Ermöglichen der Wiederholbarkeit von addArtifact
  • [SPARK-46660] [SC-153391][CONNECT] Aktualisierung des Aktivitätsstatus von SessionHolder durch ReattachExecute-Anforderungen
  • [SPARK-46670] [SC-153273][PYTHON][SQL] Ermöglichen des Selbstklonens von DataSourceManager durch Trennen von statischen Python-Datenquellen und Python-Laufzeitdatenquellen
  • [SPARK-46720] [SC-153410][SQL][PYTHON] Umgestaltung der Python-Datenquelle entsprechend anderen integrierten DSv2-Datenquellen
  • [SPARK-46684] [SC-153275][PYTHON][CONNECT] Korrektur von „CoGroup.applyInPandas/Arrow“, damit Argumente ordnungsgemäß übergeben werden
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: Auslösung eines Fehlers bei mehreren XML-Datenquellen
  • [SPARK-46382] [SC-151881][SQL]XML: Festlegung des Standardwerts von ignoreSurroundingSpaces auf „true“
  • [SPARK-46382] [SC-153178][SQL] XML: Aktualisierung der Dokumentation für ignoreSurroundingSpaces
  • [SPARK-45292] Wiederherstellung von „[SC-151609][SQL][HIVE] Entfernen von Guava aus freigegebenen Klassen in IsolatedClientLoader“
  • [SPARK-45292] [SC-151609][SQL][HIVE] Entfernung von Guava aus freigegebenen Klassen in IsolatedClientLoader
  • [SPARK-46311] [SC-150137][CORE] Protokollierung des endgültigen Zustands von Treibern während Master.removeDriver
  • [SPARK-46413] [SC-151052][PYTHON] Überprüfung des returnType der benutzerdefinierten Arrow-Python-Funktion (User-Defined Function, UDF)
  • [SPARK-46633] [WARMFIX][SC-153092][SQL] Korrektur des Avro-Readers, um Blöcke mit einer Länge von 0 (null) zu behandeln
  • [SPARK-46537] [SC-151286][SQL] Konvertierung von NPEs (NullPointerException) und Asserts aus Befehlen in interne Fehler
  • [SPARK-46179] [SC-151678][SQL] Hinzufügung von CrossDbmsQueryTestSuites, wodurch ab Postgres andere Datenbank-Managementsysteme (DMBS) für goldene Dateien mit anderen DMBS ausgeführt werden
  • [SPARK-44001] [SC-151413][PROTOBUF] Hinzufügung einer Option zum Zulassen des Entpackens von bekannten protobuf-Wrappertypen
  • [SPARK-40876] [SC-151786][SQL] Ausweitung der Typerweiterung für größere Dezimalzahlen in Parquet-Readern
  • [SPARK-46605] [SC-151769][CONNECT] Sicherstellung der Funktionalität von lit/typedLit in der Unterstützung für das Connect-Modul s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][SQL] Bei der Überprüfung von Literalen sollte kein Drilldown in NULL-Felder ausgeführt werden.
  • [SPARK-37039] [SC-153094][PS] Korrektur von Series.astype zur ordnungsgemäßen Funktion mit dem fehlenden Wert
  • [SPARK-46312] [SC-150163][CORE] Verwendung von lower_camel_case in store_types.proto
  • [SPARK-46630] [SC-153084][SQL] XML: Überprüfung des XML-Elementnamens beim Schreiben
  • [SPARK-46627] [SC-152981][SS][UI] Korrektur von QuickInfo-Inhalten der Zeitachse in der Streamingbenutzeroberfläche
  • [SPARK-46248] [SC-151774][SQL] XML: Unterstützung für die Optionen ignoreCorruptFiles und ignoreMissingFiles
  • [SPARK-46386] [SC-150766][PYTHON] Verbesserung der Assert-Anweisungen von „observation“ (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][CORE] Aktualisierung des Kommentars zu isZero in AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Korrektur des Protokollfehlers in handleStatusMessage
  • [SPARK-46568] [SC-151685][PYTHON] Festlegung von Python-Datenquellenoptionen als Wörterbuch ohne Beachtung der Groß-/Kleinschreibung
  • [SPARK-46611] [SC-151783][CORE] Entfernung von ThreadLocal durch Ersetzen von SimpleDateFormat durch DateTimeFormatter
  • [SPARK-46604] [SC-151768][SQL] Hinzufügung der Unterstützung von s.c.immuable.ArraySeq durch Literal.apply
  • [SPARK-46324] [SC-150223][SQL][PYTHON] Korrektur des Ausgabenamens von „pyspark.sql.functions.user“ und „session_user“
  • [SPARK-46621] [SC-151794][PYTHON] Behandlung von NULL-Werten von Exception.getMessage in der abgefangenen Py4J-Ausnahme
  • [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader sollte beim Erstellen von Spaltenvektoren für die fehlende Spalte den Speichermodus berücksichtigen.
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Ausnahme „Protokoll voll“, wenn die Suche in Python-Datenquellen fehlschlägt
  • [SPARK-46559] [SC-151364][MLLIB] Umschließung von export im Paketnamen mit umgekehrten Schrägstrichen
  • [SPARK-46522] [SC-151784][PYTHON] Blockierung von Python-Datenquellenregistrierungen mit Namenskonflikten
  • [SPARK-45580] [SC-149956][SQL] Behandlung von Fällen, in denen eine geschachtelte Unterabfrage zu einem Existenz-Join wird
  • [SPARK-46609] [SC-151714][SQL] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] Korrektur von NPEs, wenn eine Spalte ohne Spaltenstatistiken durch „describe“ erweitert wurde
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML: Verwendung von TypeCoercion.findTightestCommonType für die Kompatibilitätsüberprüfung
  • [SPARK-40876] [SC-151129][SQL] Ausweitung der Typerweiterungen in Parquet-Readern
  • [SPARK-46179] [SC-151069][SQL] Abruf von Code in wiederverwendbare Funktionen in SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Unterstützung von s.c.immutable.ArraySeq als customCollectionCls in MapObjects
  • [SPARK-46585] [SC-151622][CORE] Direkte Erstellung von metricPeaks als immutable.ArraySeq anstelle der Verwendung von mutable.ArraySeq.toSeq in Executor
  • [SPARK-46488] [SC-151173][SQL] Überspringen des trimAll-Aufrufs während der Zeitstempelanalyse
  • [SPARK-46231] [SC-149724][PYTHON] Migration aller verbleibenden Fehler vom Typ NotImplementedError und TypeError zum PySpark-Fehlerframework
  • [SPARK-46348] [SC-150281][CORE] Unterstützung von spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Protokollierung der Spark HA-Wiederherstellungsdauer
  • [SPARK-46358] [SC-150307][CONNECT] Vereinfachung der Bedingungsüberprüfung in der ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][SQL] Ersetzung der aktuellen Zeit-/Datumsangabe vor dem Auswerten von Inlinetabellenausdrücken
  • [SPARK-46563] [SC-151441][SQL] Anzeige von simpleString, die nicht „conf spark.sql.debug.maxToStringFields“ folgt
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Reduzierung der Stapeltiefe durch Ersetzen von „(string|array).size“ durch „(string|array).length“
  • [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(alle Felder aus einer Struktur) führt zu einem Assertionsfehler
  • [SPARK-46565] [SC-151414][PYTHON] Optimierung von Fehlerklassen und Fehlermeldungen für Python-Datenquellen
  • [SPARK-46576] [SC-151614][SQL] Verbesserung von Fehlermeldungen für nicht unterstützte Datenquellen-Speichermodi
  • [SPARK-46540] [SC-151355][PYTHON] Berücksichtigung von Spaltennamen, wenn eine read-Funktion der Python-Datenquelle benannte Row-Objekte ausgibt
  • [SPARK-46577] [SC-151448][SQL] Weitergabe des SessionState des Hive durch HiveMetastoreLazyInitializationSuite
  • [SPARK-44556] [SC-151562][SQL] Wiederverwendung von OrcTail beim Aktivieren von vectorizedReader
  • [SPARK-46587] [SC-151618][SQL] XML: Korrektur der Konvertierung großer ganzer XSD-Zahlen
  • [SPARK-46382] [SC-151297][SQL] XML: Erfassung von Werten, die an verschiedenen Stellen zwischen Elementen eingefügt werden
  • [SPARK-46567] [SC-151447][CORE] Entfernung von ThreadLocal für ReadAheadInputStream
  • [SPARK-45917] [SC-151269][PYTHON][SQL] Automatische Registrierung der Python-Datenquelle beim Start
  • [SPARK-28386] [SC-151014][SQL] Auflösung von ORDER BY-Spalten mit GROUP BY und HAVING nicht möglich
  • [SPARK-46524] [SC-151446][SQL] Verbesserung der Fehlermeldungen für einen ungültigen Speichermodus
  • [SPARK-46294] [SC-150672][SQL] Bereinigung der Semantik des init-Werts im Vergleich zum Nullwert
  • [SPARK-46301] [SC-150100][CORE] Unterstützung von spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Entfernung der Überprüfung c>=0 aus ExternalCatalogUtils#needsEscaping, da das Ergebnis immer „true“ ist
  • [SPARK-46553] [SC-151360][PS] FutureWarning für interpolate mit Objekt-dtype
  • [SPARK-45914] [SC-151312][PYTHON] Unterstützung der Commit- und Abbruch-API für Schreibvorgänge in Python-Datenquellen
  • [SPARK-46543] [SC-151350][PYTHON][CONNECT] Auslösung von PySparkValueError durch json_tuple für leere Felder
  • [SPARK-46520] [SC-151227][PYTHON] Unterstützung des Überschreibungsmodus für Schreibvorgänge in Python-Datenquellen
  • [SPARK-46502] [SC-151235][SQL] Unterstützung von Zeitstempeltypen in UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][CONNECT] Übergeben von Nachrichtenparametern in Metadaten von ErrorInfo
  • [SPARK-46397] Wiederherstellung von „[SC-151311][PYTHON][CONNECT] sha2-Funktion sollte PySparkValueError für ungültige numBits auslösen”
  • [SPARK-46170] [SC-149472][SQL] Unterstützung für das Einfügen von Postplaner-Strategieregeln für adaptive Abfragen in SparkSessionExtensions
  • [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable sollte die Tabelle nicht laden.
  • [SPARK-46397] [SC-151311][PYTHON][CONNECT] Die sha2-Funktion sollte PySparkValueError für ungültige numBits auslösen.
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Sicht nicht gefunden wird.
  • [SPARK-46272] [SC-151012][SQL] Unterstützung von CTAS (CREATE TABLE AS SELECT) mithilfe von DSv2-Quellen
  • [SPARK-46480] [SC-151127][CORE][SQL] Korrektur von NPEs beim Versuch, einen Zwischenspeicherungstask für Tabellen auszuführen
  • [SPARK-46100] [SC-149051][CORE][PYTHON] Reduzierung der Stapeltiefe durch Ersetzen von „(string|array).size“ durch „(string|array).length“
  • [SPARK-45795] [SC-150764][SQL] DS V2 unterstützt den Pushdown-Modus.
  • [SPARK-46485] [SC-151133][SQL] V1Write sollte keine Sortierung hinzufügen, wenn diese nicht erforderlich ist.
  • [SPARK-46468] [SC-151121] [SQL] Behandlung des COUNT-Fehlers für EXISTS-Unterabfragen mit „Aggregate“ ohne Gruppierungsschlüssel
  • [SPARK-46246] [SC-150927][SQL] SQL-Unterstützung für EXECUTE IMMEDIATE
  • [SPARK-46498] [SC-151199][CORE] Entfernung von shuffleServiceEnabled aus o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][SQL] Standardmäßige Festlegung der Konfigurationen für den Rebasevorgang auf den Modus CORRECTED
  • [SPARK-45525] [SC-151120][SQL][PYTHON] Unterstützung für Schreibvorgänge in Python-Datenquellen mit DSv2
  • [SPARK-46505] [SC-151187][CONNECT] Ermöglichen der Konfiguration des Schwellenwerts für Bytes in ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Entfernung der Legacy-SQL-Konfigurationen für den datetime-Rebasevorgang
  • [SPARK-46443] [SC-151123][SQL] Dezimalgenauigkeit und -skalierung sollten vom H2-Dialekt bestimmt werden.
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Korrektur des Stapeldiagramms zur Vorgangsdauer auf der Seite für strukturiertes Streaming
  • [SPARK-46207] [SC-151068][SQL] Unterstützung von MergeInto in DataFrameWriterV2
  • [SPARK-46452] [SC-151018][SQL] Hinzufügung einer neuen API in DataWriter zum Schreiben eines Datensatziterators
  • [SPARK-46273] [SC-150313][SQL] Unterstützung von INSERT INTO/OVERWRITE mit DSv2-Quellen
  • [SPARK-46344] [SC-150267][CORE] Korrekte Ausgabe einer Warnung, wenn ein Treiber vorhanden, der Master aber getrennt ist
  • [SPARK-46284] [SC-149944][PYTHON][CONNECT] Hinzufügung der session_user-Funktion zu Python
  • [SPARK-46043] [SC-149786][SQL] Unterstützung für das Erstellen von Tabellen mit DSv2-Quellen
  • [SPARK-46323] [SC-150191][PYTHON] Korrektur des Ausgabenamens von „pyspark.sql.functions.now“
  • [SPARK-46465] [SC-151059][PYTHON][CONNECT] Hinzufügung von Column.isNaN in PySpark
  • [SPARK-46456] [SC-151050][CORE] Hinzufügung von spark.ui.jettyStopTimeout, um das Beendigungstimeout des Jetty-Servers zum Aufheben der Blockierung des Herunterfahrens von SparkContext festzulegen
  • [SPARK-43427] [SC-150356][PROTOBUF] Spark Protobuf: Zulassen des Upcastings von ganzzahligen Typen ohne Vorzeichen
  • [SPARK-46399] [SC-151013][14.x][Core] Hinzufügung des Beendigungsstatus zum Application End-Ereignis zur Verwendung des Spark-Listeners
  • [SPARK-46423] [SC-150752][PYTHON][SQL] Bereitstellung der Python-Datenquelleninstanz in DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Unterstützung von Python-Metriken in der Python-Datenquelle
  • [SPARK-46330] [SC-151015] Das Laden der Spark-Benutzeroberfläche wird lange blockiert, wenn HybridStore aktiviert ist.
  • [SPARK-46378] [SC-150397][SQL] Weiterhin Entfernung der Sortierung (Sort) nach der Konvertierung von „Aggregate“ in „Project“
  • [SPARK-45506] [SC-146959][CONNECT] Hinzufügung der Unterstützung von Ivy-URIs zu SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][CONNECT][SQL] close()-Aufruf durch ArrowConverters.createEmptyArrowBatch, um Arbeitsspeicherverluste zu vermeiden
  • [SPARK-46427] [SC-150759][PYTHON][SQL] Änderung der Beschreibung der Python-Datenquelle, um eine gute Erläuterung bereitzustellen
  • [SPARK-45597] [SC-150730][PYTHON][SQL] Unterstützung für das Erstellen einer Tabelle mit einer Python-Datenquelle in SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][PYTHON] Hinzufügung der Unterstützung für getMessageParameters und getQueryContext
  • [SPARK-46453] [SC-150897][CONNECT] Auslösung einer Ausnahme über internalError() in SessionHolder
  • [SPARK-45758] [SC-147454][SQL] Einführung eines Mappers für Hadoop-Komprimierungscodecs
  • [SPARK-46213] [PYTHON] Einführung von PySparkImportError für das Fehlerframework
  • [SPARK-46230] [SC-149960][PYTHON] Migration von RetriesExceeded zu einem PySpark-Fehler
  • [SPARK-45035] [SC-145887][SQL] Korrektur der Meldung eines Fehlers bei ignoreCorruptFiles/ignoreMissingFiles mit mehrzeiligen CSV-/JSON-Dateien
  • [SPARK-46289] [SC-150846][SQL] Unterstützung der Sortierung von UDTs im interpretierten Modus
  • [SPARK-46229] [SC-150798][PYTHON][CONNECT] Hinzufügung von applyInArrow zu groupBy und „cogroup“ in Spark Connect
  • [SPARK-46420] [SC-150847][SQL] Entfernung des nicht verwendeten Datentransports in SparkSQLCLIDriver
  • [SPARK-46226] [SC-149724][PYTHON] Migration aller verbleibenden Fehler vom Typ RuntimeError zum PySpark-Fehlerframework
  • [SPARK-45796] [SC-150613][SQL] Unterstützung von MODE() WITHIN GROUP (ORDER BY col)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] Hinzufügung von applyInArrow zu groupBy und „cogroup“
  • [SPARK-46069] [SC-149672][SQL] Unterstützung für das Aufheben des Umbruchs des Zeitstempeltyps in den Datumstyp
  • [SPARK-46406] [SC-150770][SQL] Zuweisung eines Namens zur Fehlerklasse _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][SS] Konvertierung von IllegalStateException in internalError in Sitzungsiteratoren
  • [SPARK-45807] [SC-150751][SQL] Verbesserung der ViewCatalog-API
  • [SPARK-46009] [SC-149771][SQL][CONNECT] Zusammenführung der Analyseregel von PercentileCont und PercentileDisc in functionCall
  • [SPARK-46403] [SC-150756][SQL] Decodierung der Parquet-Binärdatei mit der getBytesUnsafe-Methode
  • [SPARK-46389] [SC-150779][CORE] Manuelles Schließen der RocksDB/LevelDB-Instanz, wenn checkVersion eine Ausnahme auslöst
  • [SPARK-46360] [SC-150376][PYTHON] Verbesserung des Debuggens von Fehlermeldungen mit der neuen getMessage-API
  • [SPARK-46233] [SC-149766][PYTHON] Migration aller verbleibenden Fehler vom Typ AttributeError zum PySpark-Fehlerframework
  • [SPARK-46394] [SC-150599][SQL] Behebung von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf „true“ festgelegt ist
  • [SPARK-45964] [SC-148484][SQL] Entfernung des privaten SQL-Accessors in XML- und JSON-Paketen unter dem Catalyst-Paket
  • [SPARK-45856] [SC-148691] Verschiebung von ArtifactManager von Spark Connect in SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][CONNECT] Korrektur des Startskripts „spark-connect-scala-client“
  • [SPARK-46416] [SC-150699][CORE] Hinzufügung von @tailrec zu HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][SQL] Einschränkung von Zeichensätzen in encode()
  • [SPARK-46253] [SC-150416][PYTHON] Planung des Lesevorgangs in Python-Datenquellen mit MapInArrow
  • [SPARK-46339] [SC-150266][SS] Das Verzeichnis mit Batchnummernnamen sollte nicht als Metadatenprotokoll behandelt werden.
  • [SPARK-46353] [SC-150396][CORE] Umgestaltung zum Verbessern der Abdeckung des RegisterWorker-Komponententests
  • [SPARK-45826] [SC-149061][SQL] Hinzufügung einer SQL-Konfiguration für Stapelüberwachungen im DataFrame-Abfragekontext
  • [SPARK-45649] [SC-150300][SQL] Vereinheitlichung des Vorbereitungsframeworks für OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Korrektur des Masters zum Aktualisieren eine Workers von UNKNOWN auf ALIVE in der RegisterWorker-Meldung
  • [SPARK-46388] [SC-150496][SQL] Fehlen des Musterwächters query.resolved in HiveAnalysis
  • [SPARK-46401] [SC-150609][CORE] Verwendung von !isEmpty() für RoaringBitmap anstelle von getCardinality() > 0 in RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][SQL] Klassifizierung von Ausnahmen im JDBC-Tabellenkatalog
  • [SPARK-45798] [SC-150513][CONNECT] Followup: Hinzufügung von serverSessionId zu SessionHolderInfo
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML: Hinzufügung der Unterstützung von TimestampNTZType
  • [SPARK-46075] [SC-150393][CONNECT] Verbesserungen an SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Ersetzung der falschen Verwendung von setConf in der Dokumentation durch „conf.set“
  • [SPARK-46202] [SC-150420][CONNECT] Verfügbarmachen neuer ArtifactManager-APIs zum Unterstützen benutzerdefinierter Zielverzeichnisse
  • [SPARK-45824] [SC-147648][SQL] Erzwingung der Fehlerklasse in ParseException
  • [SPARK-45845] [SC-148163][SS][UI] Hinzufügung der Anzahl entfernter Zustandszeilen zur Streamingbenutzeroberfläche
  • [SPARK-46316] [SC-150181][CORE] Aktivierung von buf-lint-action für das core-Modul
  • [SPARK-45816] [SC-147656][SQL] Rückgabe von NULL bei einem Überlauf während der Umwandlung von Zeitstempeln in ganze Zahlen
  • [SPARK-46333] [SC-150263][SQL] Ersetzung von IllegalStateException durch SparkException.internalError in Catalyst
  • [SPARK-45762] [SC-148486][CORE] Unterstützung von Shuffle-Managern, die in Benutzer-JARs definiert sind, durch Ändern der Startreihenfolge
  • [SPARK-46239] [SC-149752][CORE] Ausblenden von Jetty-Informationen
  • [SPARK-45886] [SC-148089][SQL] Ausgabe der vollständigen Stapelüberwachung in callSite des DataFrame-Kontexts
  • [SPARK-46290] [SC-150059][PYTHON] Änderung von saveMode in ein boolesches Flag für DataSourceWriter
  • [SPARK-45899] [SC-148097][CONNECT] Festlegung von errorClass in errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Verfügbarmachen der Stapelüberwachung durch DataFrameQueryContext
  • [SPARK-45843] [SC-147721][CORE] Unterstützung von killall in der REST Submission-API
  • [SPARK-46234] [SC-149711][PYTHON] Einführung von PySparkKeyError für das PySpark-Fehlerframework
  • [SPARK-45606] [SC-147655][SQL] Veröffentlichung von Einschränkungen für mehrschichtige Laufzeitfilter
  • [SPARK-45725] [SC-147006][SQL] Entfernung des nicht standardmäßigen IN-Unterabfrage-Laufzeitfilters
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] Bereinigung der veralteten API-Verwendung von View.force und ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][SQL] Ermöglichen einer generischeren Verwendung von withOrigin
  • [SPARK-46292] [SC-150086][CORE][UI] Anzeige einer Zusammenfassung von Workern in MasterPage
  • [SPARK-45685] [SC-146881][CORE][SQL] Verwendung von LazyList anstelle von Stream
  • [SPARK-45888] [SC-149945][SS] Anwendung des Fehlerklassenframeworks auf die Statusdatenquelle (Metadaten)
  • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed sollte die Sortierung des Wörterbuchs bzw. der Zuordnung beibehalten.
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Bereinigung von SeqOps.view- und ArrayOps.view-Konvertierungen
  • [SPARK-46029] [SC-149255][SQL] Setzen von einfachen Anführungszeichen, _ und % in Escapezeichen für den DS V2-Pushdown
  • [SPARK-46275] [SC-150189] Protobuf: Rückgabe von NULL im permissiven Modus, wenn die Deserialisierung fehlschlägt
  • [SPARK-46320] [SC-150187][CORE] Unterstützung von spark.master.rest.host
  • [SPARK-46092] [SC-149658][SQL] Kein Pushdown für Parquet-Zeilengruppenfilter mit Überlauf
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] Abgleich mit dem Mindestverhalten in der Spalte bei vollständiger Testabdeckung
  • [SPARK-46298] [SC-150092][PYTHON][CONNECT] Abgleich von Warnungen zur Veraltung, Testfällen und Fehlern von Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Bereinigung der Verwendung der veralteten API im Zusammenhang mit StringContext/StringOps/RightProjection/LeftProjection/Either und der Typverwendung von BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][SQL] Unterstützung von SHOW TABLE EXTENDED in v2
  • [SPARK-45737] [SC-147011][SQL] Entfernung nicht benötigter .toArray[InternalRow]-Elemente in SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Anforderung einer Instanzsperre für den Abruf von RocksDB-Metriken, um Racebedingungen mit Hintergrundvorgängen zu verhindern
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed sollte die Wörterbuchsortierung (dict) befolgen.
  • [SPARK-46274] [SC-150043] [SQL] Korrektur des Range-Operators computeStats(), um vor der Konvertierung die Gültigkeitsdauer zu überprüfen
  • [SPARK-46040] [SC-149767][SQL][Python] Aktualisierung der UDTF-API für „analyze“ für die Partitionierung/Sortierung von Spalten zum Unterstützen allgemeiner Ausdrücke
  • [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty sollte mit allen Datentypen funktionieren.
  • [SPARK-45678] [SC-146825][CORE] Abdeckung von BufferReleasingInputStream.available/reset unter tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Bereinigung der Verwendung der veralteten API im Zusammenhang mit IterableOnceExtensionMethods
  • [SPARK-43980] [SC-148992][SQL] Einführung der select * except-Syntax
  • [SPARK-46269] [SC-149816][PS] Aktivierung weiterer NumPy-Kompatibilitätsfunktionstests
  • [SPARK-45807] [SC-149851][SQL] Hinzufügung von createOrReplaceView(..)/replaceView(..) zu ViewCatalog
  • [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Einführung einer impliziten Funktion zum Umschließen eines skalaren Arrays in immutable.ArraySeq
  • [SPARK-46205] [SC-149655][CORE] Verbesserung der Leistung von PersistenceEngine mit KryoSerializer
  • [SPARK-45746] [SC-149359][Python] Rückgabe spezifischer Fehlermeldungen, wenn die UDTF-Methoden „analyze“ oder „eval“ falsche Werte akzeptieren oder zurückgeben
  • [SPARK-46186] [SC-149707][CONNECT] Korrektur des unzulässigen Statusübergangs, wenn ExecuteThreadRunner vor dem Start unterbrochen wird
  • [SPARK-46262] [SC-149803][PS] Aktivierung des Tests für np.left_shift für Pandas-on-Spark-Objekte
  • [SPARK-45093] [SC-149679][CONNECT][PYTHON] Korrekte Unterstützung der Fehlerbehandlung und Konvertierung für AddArtifactHandler
  • [SPARK-46188] [SC-149571][Doc][3.5] Korrektur der CSS (Cascading Stylesheets) von Tabellen, die von der Spark-Dokumentation generiert werden
  • [SPARK-45940] [SC-149549][PYTHON] Hinzufügung von InputPartition zur DataSourceReader-Schnittstelle
  • [SPARK-43393] [SC-148301][SQL] Behandlung des Sequenzausdruck-Überlauffehlers
  • [SPARK-46144] [SC-149466][SQL] Fehler bei der INSERT INTO… REPLACE-Anweisung, wenn die Bedingung eine Unterabfrage enthält
  • [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Verwendung von SparkSession.sessionState.conf anstelle von SQLContext.conf und Kennzeichnung von SQLContext.conf als veraltet
  • [SPARK-45760] [SC-147550][SQL] Hinzufügung eines With-Ausdrucks zur Vermeidung doppelter Ausdrücke
  • [SPARK-43228] [SC-149670][SQL] Joinschlüssel gleichen auch PartitioningCollection in CoalesceBucketsInJoin ab.
  • [SPARK-46223] [SC-149691][PS] Test von SparkPandasNotImplementedError mit Bereinigung von nicht verwendetem Code
  • [SPARK-46119] [SC-149205][SQL] Außerkraftsetzung der toString-Methode für UnresolvedAlias
  • [SPARK-46206] [SC-149674][PS] Verwendung einer stärker begrenzten Bereichsausnahme für den SQL-Prozessor
  • [SPARK-46191] [SC-149565][CORE] Verbesserung der FileSystemPersistenceEngine.persist-Fehlermeldung bei Vorhandensein der Datei
  • [SPARK-46036] [SC-149356][SQL] Entfernung von „error-class“ aus der raise_error-Funktion
  • [SPARK-46055] [SC-149254][SQL] Erneute Generierung der Implementierung der Katalogdatenbank-APIs
  • [SPARK-46152] [SC-149454][SQL] XML: Hinzufügung der DecimalType-Unterstützung im XML-Schemarückschluss
  • [SPARK-45943] [SC-149452][SQL] Verschiebung von DetermineTableStats in Auflösungsregeln
  • [SPARK-45887] [SC-148994][SQL] Abstimmung der „codegen“- und „non-codegen“-Implementierung von Encode
  • [SPARK-45022] [SC-147158][SQL] Bereitstellung von Kontext für Fehler der Dataset-API
  • [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Ersetzung von toIterator durch iterator für IterableOnce
  • [SPARK-46141] [SC-149357][SQL] Änderung des Standardwerts für spark.sql.legacy.ctePrecedencePolicy in CORRECTED
  • [SPARK-45663] [SC-146617][CORE][MLLIB] Ersetzung von IterableOnceOps#aggregate durch IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Wiederverwendung von Literal-Objekten in der ComputeCurrentTime-Regel
  • [SPARK-45803] [SC-147489][CORE] Entfernung der nicht mehr verwendeten RpcAbortException
  • [SPARK-46148] [SC-149350][PS] Korrektur des Tests „pyspark.pandas.mlflow.load_model“ (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Verwendung von Fehlerklassen in den Modulen „catalog“, „conf“, „connect“, „observation“ und „pandas“
  • [SPARK-45827] [SC-149203][SQL] Verschiedene Korrekturen bei deaktiviertem Codegenerierungs- und vektorisiertem Reader
  • [SPARK-46080] Wiederherstellung von „[SC-149012][PYTHON] Upgrade von Cloudpickle auf 3.0.0“
  • [SPARK-45460] [SC-144852][SQL] Ersetzung von scala.collection.convert.ImplicitConversions durch scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][SQL] Entfernung der speziellen Auflösung von UnresolvedNamespace für bestimmte Befehle
  • [SPARK-45600] [SC-148976][PYTHON] Festlegung der Python-Datenquellenregistrierung auf Sitzungsebene
  • [SPARK-46074] [SC-149063][CONNECT][SCALA] Ungenügende Details in der Fehlermeldung bei einem UDF-Fehler
  • [SPARK-46114] [SC-149076][PYTHON] Hinzufügung von PySparkIndexError für das Fehlerframework
  • [SPARK-46120] [SC-149083][CONNECT][PYTHON] Entfernung der Hilfsfunktion DataFrame.withPlan
  • [SPARK-45927] [SC-148660][PYTHON] Aktualisierung der Pfadverarbeitung für Python-Datenquellen
  • [SPARK-46062] [14.x][SC-148991][SQL] Synchronisierung des isStreaming-Flags zwischen CTE-Definition und Referenz
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Bereinigung der Verwendung der veralteten API im Zusammenhang mit Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Verschiebung von EliminateEventTimeWatermark in das Analysetool und Anwendung einer Änderung, sodass nur das aufgelöste untergeordnete Element betroffen ist
  • [SPARK-45922] [SC-149038][CONNECT][CLIENT] Geringfügige Umgestaltungen (Ergänzung zu mehreren Richtlinien)
  • [SPARK-45851] [SC-148419][CONNECT][SCALA] Unterstützung für mehrere Richtlinien im Scala-Client
  • [SPARK-45974] [SC-149062][SQL] Hinzufügung der Überprüfung auf „nicht leere“ Werte von scan.filterAttributes für RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets im Scala Spark Connect-Client
  • [SPARK-45136] [SC-146607][CONNECT] Verbesserung von ClosureCleaner mit Ammonite-Unterstützung
  • [SPARK-46084] [SC-149020][PS] Umgestaltung des Datentyp-Umwandlungsvorgangs für den Typ „Categorical“
  • [SPARK-46083] [SC-149018][PYTHON] Bereitstellung von SparkNoSuchElementException als kanonische Fehler-API
  • [SPARK-46048] [SC-148982][PYTHON][CONNECT] Unterstützung von DataFrame.groupingSets in Python Spark Connect
  • [SPARK-46080] [SC-149012][PYTHON] Upgrade von Cloudpickle auf 3.0.0
  • [SPARK-46082] [SC-149015][PYTHON][CONNECT] Korrektur der protobuf-Zeichenfolgendarstellung für die Pandas Functions-API mit Spark Connect
  • [SPARK-46065] [SC-148985][PS] Umgestaltung von (DataFrame|Series).factorize() zur Verwendung von create_map
  • [SPARK-46070] [SC-148993][SQL] Kompilierung des RegEx-Musters in SparkDateTimeUtils.getZoneId außerhalb der Schleife der heißen Zugriffsebene
  • [SPARK-46063] [SC-148981][PYTHON][CONNECT] Verbesserung von Fehlermeldungen im Zusammenhang mit Argumenttypen in „cute“, „rollup“, „groupby“ und „pivot“
  • [SPARK-44442] [SC-144120][MESOS] Entfernung der Mesos-Unterstützung
  • [SPARK-45555] [SC-147620][PYTHON] Enthält ein debugfähiges Objekt für fehlgeschlagene Assert-Anweisungen
  • [SPARK-46048] [SC-148871][PYTHON][SQL] Unterstützung von DataFrame.groupingSets in PySpark
  • [SPARK-45768] [SC-147304][SQL][PYTHON] Bereitstellung von „faulthandler“ als Laufzeitkonfiguration für die Python-Ausführung in SQL
  • [SPARK-45996] [SC-148586][PYTHON][CONNECT] Anzeige der richtigen Meldungen zur Abhängigkeitsanforderung für Spark Connect
  • [SPARK-45681] [SC-146893][UI] Klonen einer JS-Version von UIUtils.errorMessageCell für das konsistente Rendering von Fehlern auf der Benutzeroberfläche
  • [SPARK-45767] [SC-147225][CORE] Löschung von TimeStampedHashMap und der zugehörigen UT
  • [SPARK-45696] [SC-148864][CORE] Die Korrektur der tryCompleteWith-Methode im Merkmal „Promise“ ist veraltet.
  • [SPARK-45503] [SC-146338][SS] Hinzufügung einer Konfiguration zum Festlegen der RocksDB-Komprimierung
  • [SPARK-45338] [SC-143934][CORE][SQL] Ersetzung von scala.collection.JavaConverters durch scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][SQL] Korrektur von ArrayIndexOutOfBoundsException in conv()
  • [SPARK-45912] [SC-144982][SC-148467][SQL] Erweiterung der XSDToSchema-API: Wechsel zur HDFS-API zum Sicherstellen der Zugänglichkeit des Cloudspeichers
  • [SPARK-45819] [SC-147570][CORE] Unterstützung von clear in der REST-Übermittlungs-API
  • [SPARK-45552] [14.x][SC-146874][PS] Einführung von flexiblen Parametern für assertDataFrameEqual
  • [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Bereitstellung einer Schnittstelle für andere Streamingquellen zum Hinzufügen von _metadata-Spalten
  • [SPARK-45929] [SC-148692][SQL] Unterstützung des groupingSets-Vorgangs in der Dataframe-API
  • [SPARK-46012] [SC-148693][CORE] EventLogFileReader sollte keine rollierenden Protokolle lesen, wenn die App-Statusdatei nicht vorhanden ist.
  • [SPARK-45965] [SC-148575][SQL] Verschiebung von DSv2-Partitionierungsausdrücken in „functions.partitioning“
  • [SPARK-45971] [SC-148541][CORE][SQL] Korrektur des Paketnamens von SparkCollectionUtils in org.apache.spark.util
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] Bereinigung der Verwendung der veralteten API im Zusammenhang mit MapOps und Fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][SC-148497][SQL] Entfernung von treatEmptyValuesAsNulls und stattdessen Verwendung der Option nullValue in XML
  • [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Korrektur von Typhinweisen zum Behandeln von list GenericAlias in Python 3.11 und höher
  • [SPARK-45999] [SC-148595][PS] Verwendung des dedizierten PandasProduct in cumprod
  • [SPARK-45986] [SC-148583][ML][PYTHON] Korrektur von pyspark.ml.torch.tests.test_distributor in Python 3.11
  • [SPARK-45994] [SC-148581][PYTHON] Änderung von description-file in description_file
  • [SPARK-45575] [SC-146713][SQL] Unterstützung von Zeitreiseoptionen für die df read-API
  • [SPARK-45747] [SC-148404][SS] Verwendung von Präfixschlüsselinformationen in Statusmetadaten zum Verarbeiten des Lesestatus für die Sitzungsfensteraggregation
  • [SPARK-45898] [SC-148213][SQL] Erneute Generierung der Katalogtabellen-APIs, um einen nicht aufgelösten logischen Plan zu verwenden
  • [SPARK-45828] [SC-147663][SQL] Entfernung der veralteten Methode in dsl
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Upgrade von protobuf auf 4.25.1 zur Unterstützung von Python 3.11
  • [SPARK-45911] [SC-148226][CORE] Festlegung von TLS1.3 als Standardeinstellung für RPC-SSL
  • [SPARK-45955] [SC-148429][UI] Unterstützung des Reduzierens für Details in Flame-Diagrammen und Threadspeicherabbildern
  • [SPARK-45936] [SC-148392][PS] Optimierung von Index.symmetric_difference
  • [SPARK-45389] [SC-144834][SQL][3.5] Korrektur der MetaException-Abgleichsregel zum Abrufen von Partitionsmetadaten
  • [SPARK-45655] [SC-148085][SQL][SS] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics
  • [SPARK-45946] [SC-148448][SS] Korrektur der Verwendung veralteter FileUtils-Schreibvorgänge zum Übergeben des Standardzeichensatzes in RocksDBSuite
  • [SPARK-45511] [SC-148285][SS] Statusdatenquelle – Reader
  • [SPARK-45918] [SC-148293][PS] Optimierung von MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][CONNECT][PYTHON] Rückgabe der beobachteten Metriken über Befehle
  • [SPARK-45867] [SC-147916][CORE] Unterstützung von spark.worker.idPattern
  • [SPARK-45945] [SC-148418][CONNECT] Hinzufügung einer Hilfsfunktion für parser
  • [SPARK-45930] [SC-148399][SQL] Unterstützung von nicht deterministischen UDFs in MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][Python] API zum Erstellen von Python-UDTFs, um die Nutzung von Zeilen aus der Eingabetabelle zu beenden
  • [SPARK-45731] [SC-147929][SQL] Gleichzeitige Aktualisierung von Partitionsstatistiken mit dem ANALYZE TABLE-Befehl
  • [SPARK-45868] [SC-148355][CONNECT] Sicherstellen, dass spark.table den gleichen Parser mit Vanilla Spark verwendet
  • [SPARK-45882] [SC-148161][SQL] Bei der Weitergabe der Partitionierung mit BroadcastHashJoinExec sollte CoalescedHashPartitioning berücksichtigt werden.
  • [SPARK-45710] [SC-147428][SQL] Zuweisung von Namen zum Fehler _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][SQL] Behandlung von Dezimalzahlen (x, 0) wie IntegralType-Zahlen in PromoteStrings
  • [SPARK-45786] [SC-147552][SQL] Korrektur von ungenauen Ergebnissen der Multiplikation und Division von Dezimalzahlen
  • [SPARK-45871] [SC-148084][CONNECT] Optimierungen der Sammlungskonvertierung im Zusammenhang mit .toBuffer in den connect-Modulen
  • [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager kann nach einem angehaltenen „sparkcontext“ suchen.
  • [SPARK-45913] [SC-148289][PYTHON] Festlegung der internen Attribute als „privat“ in PySpark-Fehlern
  • [SPARK-45827] [SC-148201][SQL] Hinzufügung des Datentyps „Variant“ in Spark
  • [SPARK-44886] [SC-147876][SQL] Einführung der CLUSTER BY-Klausel für CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][CORE] Unterstützung von spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][CONNECT] Bestätigung der serverseitigen Sitzungs-ID
  • [SPARK-45896] [SC-148091][SQL] Konstruktion von ValidateExternalType mit dem richtigen erwarteten Typ
  • [SPARK-45902] [SC-148123][SQL] Entfernung der nicht verwendeten Funktion resolvePartitionColumns aus DataSource
  • [SPARK-45909] [SC-148137][SQL] Entfernung der NumericType-Umwandlung, sofern die sichere Umwandlung in IsNotNull möglich ist
  • [SPARK-42821] [SC-147715][SQL] Entfernung nicht verwendeter Parameter in splitFiles-Methoden
  • [SPARK-45875] [SC-148088][CORE] Entfernung von MissingStageTableRowData aus dem core-Modul
  • [SPARK-45783] [SC-148120][PYTHON][CONNECT] Verbesserung von Fehlermeldungen, wenn der Spark Connect-Modus aktiviert ist, die Remote-URL jedoch nicht festgelegt ist
  • [SPARK-45804] [SC-147529][UI] Hinzufügung der Konfiguration spark.ui.threadDump.flamegraphEnabled zum Aktivieren/Deaktivieren von Flame-Diagrammen
  • [SPARK-45664] [SC-146878][SQL] Einführung eines Mappers für Orc-Komprimierungscodecs
  • [SPARK-45481] [SC-146715][SQL] Einführung eines Mappers für Parquet-Komprimierungscodecs
  • [SPARK-45752] [SC-148005][SQL] Vereinfachung des Codes für die Überprüfung nicht referenzierter CTE-Beziehungen (Common Table Expression, allgemeiner Tabellenausdruck)
  • [SPARK-44752] [SC-146262][SQL] XML: Aktualisierung der Spark-Dokumentation
  • [SPARK-45752] [SC-147869][SQL] Alle nicht referenzierten CTEs sollten von CheckAnalysis0 überprüft werden.
  • [SPARK-45842] [SC-147853][SQL] Neugestaltung der Katalogfunktions-APIs zur Verwendung des Analysetools
  • [SPARK-45639] [SC-147676][SQL][PYTHON] Unterstützung für das Laden von Python-Datenquellen in DataFrameReader
  • [SPARK-45592] [SC-146977][SQL] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Einführung der Statusmetadatenquelle zum Abfrage von Metadateninformationen zum Streamingstatus
  • [SPARK-45739] [SC-147059][PYTHON] Abfangen von IOException, anstatt nur EOFException für den FaultHandler abzurufen
  • [SPARK-45677] [SC-146700] Bessere Fehlerprotokollierung für die Beobachtungs-API
  • [SPARK-45544] [SC-146873][CORE] Integration der SSL-Unterstützung in TransportContext
  • [SPARK-45654] [SC-147152][PYTHON] Hinzufügung der API zum Schreiben für Python-Datenquellen
  • [SPARK-45771] [SC-147270][CORE] Standardmäßige Aktivierung von spark.eventLog.rolling.enabled
  • [SPARK-45713] [SC-146986][PYTHON] Unterstützung für die Registrierung von Python-Datenquellen
  • [SPARK-45656] [SC-146488][SQL] Korrektur der Beobachtung, wenn benannte Beobachtungen mit demselben Namen in verschiedenen Datasets vorhanden sind
  • [SPARK-45808] [SC-147571][CONNECT][PYTHON] Verbesserte Fehlerbehandlung für SQL-Ausnahmen
  • [SPARK-45774] [SC-147353][CORE][UI] Unterstützung von spark.master.ui.historyServerUrl in ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Entfernung der defensiven NULL-Überprüfung für MapOutputTrackerMaster#unregisterShuffle in SPARK-39553 hinzugefügt
  • [SPARK-45780] [SC-147410][CONNECT] Verteilung aller Spark Connect-Client-ThreadLocals in InheritableThread
  • [SPARK-45785] [SC-147419][CORE] Unterstützung von spark.deploy.appNumberModulo zum Rotieren der App-Nummer
  • [SPARK-45793] [SC-147456][CORE] Verbesserung der integrierten Komprimierungscodecs
  • [SPARK-45757] [SC-147282][ML] Vermeidung der Neuberechnung von NNZ in Binarizer
  • [SPARK-45209] [SC-146490][CORE][UI] Unterstützung von Flame-Diagrammen für die Seite mit dem Executor-Threadspeicherabbild
  • [SPARK-45777] [SC-147319][CORE] Unterstützung von spark.test.appId in LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][PYTHON] Umgestaltung der NULL-Überprüfung, um Verknüpfungen bereitzustellen
  • [SPARK-45711] [SC-146854][SQL] Einführung eines Mappers für Avro-Komprimierungscodecs
  • [SPARK-45523] [SC-146077][Python] Rückgabe nützlicher Fehlermeldungen, wenn UDTF für eine Spalte, die keine NULL-Werte zulässt, „None“ zurückgibt
  • [SPARK-45614] [SC-146729][SQL] Zuweisung von Namen zum Fehler _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][SQL] Verbesserung von Dataset.isEmpty() durch Anwenden des globalen Grenzwerts 1
  • [SPARK-45569] [SC-145915][SQL] Zuweisung eines Namens zum Fehler _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Korrektur von Spark History Server, um die Spalte Duration ordnungsgemäß zu sortieren
  • [SPARK-45754] [SC-147169][CORE] Unterstützung von spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][SQL] Vereinfachung von DataFrameStatFunctions.countMinSketch mit CountMinSketchAgg
  • [SPARK-45753] [SC-147167][CORE] Unterstützung von spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][UI] Verbesserung von MasterPage, um die Spalte Resource nur anzuzeigen, wenn sie vorhanden ist
  • [SPARK-45112] [SC-143259][SQL] Verwenden der UnresolvedFunction-basierten Auflösung in SQL-Datasetfunktionen

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Wartungsupdates

Weitere Informationen unter Wartungsupdates für Databricks Runtime 14.3. Dies wird beim ersten Release auskommentiert.

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Klicken 8.0.4 comm 0.1.2
contourpy 1.0.5 cryptography 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
Notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 Packen 23,2 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
sechs 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-02-10 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 Blob 1.2.4
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 Anmeldeinformationen 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 Diagramm 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
Evaluieren 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-85 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
Grafiken 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 Lebenszyklus 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
Methoden 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Fortschritt 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
Tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1