Freigeben über

Databricks Runtime 18.1 (Beta)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 18.1 (Beta).

Diese Version enthält alle Features, Verbesserungen und Fehlerbehebungen aller vorherigen Databricks-Runtime-Versionen. Databricks hat diese Version im Februar 2026 veröffentlicht.

Von Bedeutung

Databricks Runtime 18.1 befindet sich in der Betaversion. Der Inhalt der unterstützten Umgebungen kann sich während der Betaversion ändern. Änderungen können die Liste der Pakete oder Versionen installierter Pakete enthalten.

Neue Features und Verbesserungen

Auto Loader verwendet, wenn verfügbar, standardmäßig Dateiereignisse.

Auto Loader verwendet standardmäßig Dateiereignisse beim Laden von einer externen Quelle, wenn diese aktiviert sind, wodurch der Aufwand für Listenvorgänge und die damit verbundenen Kosten im Vergleich zur Verzeichnisauflistung reduziert werden. Siehe Übersicht über Auto Loader mit Dateiereignissen. Dateiereignisse werden nicht verwendet, wenn Ihr Datenstromcode useIncrementalListing oder useNotifications setzt. Wenn Sie stattdessen die Verzeichnisliste verwenden möchten, legen Sie useManagedFileEvents auf false fest.

Optimierte Schreibvorgänge für partitionierte Unity-Katalogtabellen, die mit CRTAS erstellt wurden

Optimierte Schreibvorgänge gelten für partitionierte Unity-Katalogtabellen, die von CREATE OR REPLACE TABLE ... AS SELECT (CRTAS) erstellt wurden und weniger, größere Dateien erzeugen. Dieses Verhalten ist standardmäßig aktiviert. Legen Sie zum Deaktivieren spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled auf false.

DATETIMEOFFSET-Datentypunterstützung für Microsoft Azure Synapse

Der DATETIMEOFFSET Datentyp wird für Microsoft Azure Synapse-Verbindungen unterstützt.

Google BigQuery-Tabellenkommentare

Google BigQuery-Tabellenbeschreibungen werden aufgelöst und als Tabellenkommentare verfügbar gemacht.

Schemaentwicklung mit INSERT Anweisungen

Verwenden Sie die WITH SCHEMA EVOLUTION Klausel mit SQL-Anweisungen INSERT , um das Schema der Zieltabelle während der Einfügevorgänge automatisch zu entwickeln. Die Klausel wird für INSERT INTO, INSERT OVERWRITE und INSERT INTO ... REPLACE-Formulare unterstützt. Beispiel:

INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;

Das Schema der Delta Lake-Zieltabelle wird aktualisiert, um zusätzliche Spalten oder erweiterte Typen aus der Quelle zu integrieren. Ausführliche Informationen finden Sie unter Schemaentwicklungs- und INSERT Anweisungssyntax.

Beibehalten von NULL-Strukturwerten in INSERT-Vorgängen

INSERT Vorgänge mit Schemaentwicklung oder implizitem Casting bewahren Strukturwerte NULL , wenn die Quell- und Zieltabellen unterschiedliche Strukturfeldreihenfolgen aufweisen.

Multi-Statement-Transaktionsunterstützung für Delta Sharing

Delta-Freigabetabellen, die vorgesignierte URL- oder Cloudtoken-Freigabemodi verwenden, unterstützen Mehrfachanweisungs-Transaktionen. Beim ersten Zugriff innerhalb einer Transaktion wird die Tabellenversion angeheftet und für alle nachfolgenden Lesevorgänge in dieser Transaktion wiederverwendet.

Limitations:

  • Zeitreisen, Datenfeeds ändern und Streaming werden nicht unterstützt.
  • Transaktionen mit mehreren Anweisungen werden in geteilten Tabellen ohne Verlauf nicht unterstützt.
  • Freigegebene Ansichten und fremde Entitäten sind bei nicht vertrauenswürdigen Berechnungen nicht zulässig.

DataFrame-Prüfpunkte in Volumenpfaden

DataFrame-Prüfpunkte unterstützen Volumepfade des Unity-Katalogs. Konfigurieren Sie den Prüfpunktpfad mithilfe von SparkContext.setCheckpointDir auf der dedizierten Berechnung oder der spark.checkpoint.dir-Konfiguration auf der Standardberechnung.

SQL-Befehle werden beim Aufrufen von Cache() nicht mehr erneut ausgeführt.

SQL-Befehle werden beim Aufrufen .cache() des DataFrame-Ergebnisses nicht mehr erneut ausgeführt. Dazu gehören Befehle wie SHOW TABLES z. B. und SHOW NAMESPACES.

parse_timestamp SQL-Funktion

Die parse_timestamp SQL-Funktion analysiert Zeitstempelzeichenfolgen anhand mehrerer Muster. Es wird für eine schnellere Auswertung mit Zeitstempeln in verschiedenen Formaten photonisiert. Informationen zur Datetime-Musterformatierung finden Sie unter Datetime-Mustermuster .

SQL-Cursorunterstützung in zusammengesetzten Anweisungen

Zusammengesetzte SQL-Skriptanweisungen unterstützen jetzt die Cursorverarbeitung. Verwenden Sie DECLARE CURSOR, um einen Cursor zu definieren, dann OPEN statement, FETCH statement, und CLOSE statement, um die Abfrage auszuführen und die Zeilen einzeln zu verarbeiten. Cursor können Parametermarkierungen und Bedingungsbehandler verwenden, z. B. NOT FOUND für die zeilenweise Verarbeitung.

Ungefähre Top-K-Sketch-Funktionen

Neue Funktionen ermöglichen das Erstellen und Kombinieren ungefährer Top-K-Skizzen für verteilte Top-K-Aggregation:

Weitere Informationen finden Sie unter approx_top_k Aggregatfunktion und integrierte Funktionen.

Tupelskizzenfunktionen

Neue Aggregat- und Skalarfunktionen für Tupelskizzen unterstützen das eindeutige Zählen und Aggregieren über Schlüssel-Zusammenfassungspaare.

Aggregatfunktionen:

Skalare Funktionen:

  • tuple_sketch_estimate
  • tuple_sketch_summary
  • tuple_sketch_theta
  • tuple_union
  • tuple_intersection
  • tuple_difference

Siehe integrierte Funktionen.

Verhaltensänderungen

FILTER-Klausel für MEASURE-Aggregatfunktionen

MEASURE-Aggregatfunktionen unterstützen jetzt FILTER-Klauseln. Zuvor wurden Filter unbemerkt ignoriert.

Optimierte Schreibvorgänge für Unity Catalog CRTAS-Vorgänge

ERSTELLEN ODER ERSETZEN TABLE ALS SELECT (CRTAS) Vorgänge auf partitionierten Unity-Katalogtabellen verwenden jetzt standardmäßig optimierte Schreibvorgänge. Legen Sie zum Deaktivieren spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled auf false.

DataFrame-Cache-Aktualisierung für differenzierte Zugriffssteuerungs-Tabellen

Schreiben in differenzierte Zugriffssteuerungstabellen für dedizierte Compute aktualisiert jetzt zwischengespeicherte DataFrames, die von der Tabelle abhängen.

Zeitstempelpartitionswerte verwenden die Sitzungszeitzone

Zeitstempelpartitionswerte verwenden die Spark-Sitzungszeitzone anstelle der JVM-Zeitzone. Wenn Sie Zeitstempelpartitionen vor Databricks Runtime 18.0 geschrieben haben, führen Sie SHOW PARTITIONS aus, um die Partitionsmetadaten zu überprüfen, bevor neue Daten geschrieben werden.

Reserviertes Schlüsselwort "DESCRIBE FLOW"

Der DESCRIBE FLOW Befehl ist jetzt verfügbar. Wenn Sie eine Tabelle mit dem Namen flow haben, verwenden Sie DESCRIBE schema.flow, DESCRIBE TABLE flow oder DESCRIBE `flow` mit Backticks.

Leistungsverbesserung bei geospatialen Vorgängen

Geospatial-boolesche Setvorgänge verwenden eine neue Implementierung mit verbesserter Leistung. Geringfügige Genauigkeitsunterschiede können nach der 15. Dezimalstelle auftreten.

Ausnahmetypen für SQLSTATE

Ausnahmetypen werden aktualisiert, um SQLSTATE zu unterstützen. Wenn Ihr Code Ausnahmen anhand von Zeichenfolgenabgleich analysiert oder bestimmte Ausnahmetypen abfangen, aktualisieren Sie die Fehlerbehandlungslogik.

Automatische Streamingtypweiterung

Streaminglesevorgänge in Delta-Tabellen behandeln automatisch die Spaltentypweiterung. Um eine manuelle Bestätigung erforderlich zu machen, legen Sie diese spark.databricks.delta.typeWidening.enableStreamingSchemaTracking Einstellung auf true.

Verbesserungen der Bibliothek

In dieser Version wurden keine Bibliotheken aktualisiert.

Apache Spark

Databricks Runtime 18.1 umfasst Apache Spark 4.1.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 18.0 enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • SPARK-55350 Korrektur des Zeilenverlusts beim Erstellen eines DataFrame aus Pandas mit 0 Spalten
  • SPARK-55364 UnterstützenIAdd- und SupportsOrdering-Protokoll sinnvoller machen
  • SPARK-53656 MemoryStream umgestalten, um SparkSession anstelle von SQLContext zu verwenden
  • SPARK-55472 Auslösen von AttributeError aus Methoden, die in pandas 3 entfernt wurden.
  • SPARK-55224 Verwendung von Spark DataType als Referenzwert in Pandas-Arrow-Serialisierung
  • SPARK-55402 Verschieben von streamingSourceIdentifyingName von CatalogTable zu DataSource
  • SPARK-55459 Beheben der 3x-Leistungsregression in applyInPandas für große Gruppen
  • SPARK-55317 Hinzufügen eines neuen logischen Plan-Knotens "SequentialUnion" und einer entsprechenden Planungsregel.
  • SPARK-55424 Explizites Weitergeben des Reihenname in convert_numpy
  • SPARK-55175 Extrahieren eines to_pandas Transformators aus Serialisierern
  • SPARK-55304 Einführung der Unterstützung von Admission Control und Trigger.AvailableNow in Python-Datenquelle - Streaming-Reader
  • SPARK-55382 Erstellen Executor zum Protokollieren Running Spark version
  • SPARK-55408 Behandeln unerwarteter Schlüsselwortargumentfehler im Zusammenhang mit Datetime mit Pandas 3
  • SPARK-55345 Pass nicht Einheit und geschlossen nach Timedelta für Pandas 3
  • SPARK-54759 Logik im Skripting Variable Manager nach der Cursoreinführung ordnungsgemäß schützen
  • SPARK-55409 Behandeln eines unerwarteten Schlüsselwortargumentfehlers von read_excel mit Pandas 3
  • SPARK-55403 Beheben des no attribute 'draw' Fehlers in den Plot-Tests mit Pandas 3
  • SPARK-55256 Wiederherstellen von "[SC-218596][SQL] Unterstützung IGNORE NULLS / RESPECT NULLS für array_agg und collect_list"
  • SPARK-55256 Unterstützung von IGNORE NULLS / RESPECT NULLS für array_agg und collect_list
  • SPARK-55395 RDD-Cache deaktivieren in DataFrame.zipWithIndex
  • SPARK-55131 Einführung eines neuen Trennzeichens für Zusammenführungsoperator für RocksDB zum Leeren von Zeichenfolgen ohne Trennzeichen
  • SPARK-55376 Das Argument "numeric_only" in den Groupby-Funktionen soll mit Pandas 3 nur noch Boolesche Werte akzeptieren.
  • SPARK-55334 Aktivieren TimestampType und TimestampNTZType in convert_numpy
  • SPARK-55281 Hinzufügen von ipykernel und IPython zur optionalen Paketliste "mypy"
  • SPARK-55336 createDF soll die Logik von create_batch zum Entkoppeln verwenden
  • SPARK-55366 Aus Python UDFs entfernen errorOnDuplicatedFieldNames
  • SPARK-54759 Unterstützung für SQL-Skriptingcursor
  • SPARK-55302 Beheben von benutzerdefinierten Metriken im Fall von KeyGroupedPartitioning
  • SPARK-55228 Implementieren von Dataset.zipWithIndex in scala API
  • SPARK-55373 Verbesserung der Fehlermeldung "noHandlerFoundForExtension"
  • SPARK-55356 Supportalias für PIVOT Klausel
  • SPARK-55359 Höherstufen TaskResourceRequest zu Stable
  • SPARK-55365 Verallgemeinerung der Utils für die Konvertierung von Arrow-Arrays.
  • SPARK-55106 Hinzufügen des Repartitionsintegrationstests für TransformWithState-Operatoren
  • SPARK-55086 Hinzufügen von DataSourceReader.pushFilters zu Python-Datenquellen-API-Dokumenten
  • SPARK-46165 Unterstützung für DataFrame.all axis=None hinzufügen
  • SPARK-55289 Rückgängig machen von "[SC-218749][SQL] Unzuverlässigen Test in-set-operations.sql beheben durch Deaktivieren des Broadcast-Join"
  • SPARK-55297 Timedelta dtype basierend auf dem ursprünglichen dtype wiederherstellen
  • SPARK-55291 Metadaten-Header beim Erstellen des Client-Interceptors vorverarbeiten
  • SPARK-55155 Erneutes Anwenden von "[SC-218401][SQL] Unterstützung für die faltbaren Ausdrücke in der SET CATALOG-Anweisung
  • SPARK-55318 Leistungsoptimierungen für vector_avg/vector_sum
  • SPARK-55295 Die Funktion ST_GeomFromWKB erweitern, um einen optionalen SRID-Wert zu akzeptieren.
  • SPARK-55280 Hinzufügen von GetStatus-Proto zur Unterstützung der Ausführungsstatusüberwachung
  • SPARK-54969 Implementierung der neuen Arrow-Pandas-Konvertierung>
  • SPARK-55176 Extrahieren des Konverters arrow_to_pandas in ArrowArrayToPandasConversion
  • SPARK-55111 Rückgängig machen von "[SC-217817][SC-210791][SS] Erkennung unvollendeter Neupartitionierung beim Neustart der Abfrage"
  • SPARK-55252HttpSecurityFilter verbessern, um Content-Security-Policy-Header hinzuzufügen
  • SPARK-55111 Unvollständige Erkennung der Neupartitionierung beim Neustart der Abfrage
  • SPARK-55105 Hinzufügen eines Integrationstests für den Verknüpfungsoperator
  • SPARK-55260 Implementierung von Parquet-Schreibunterstützung für Geo-Typen
  • SPARK-54523 Behebung der Standardauflösung während der Variantenauslagerung
  • SPARK-55328 PythonArrowInput.codec in GroupedPythonArrowInput wiederverwenden
  • SPARK-55246 Test für Pyspark TWS und TWSInPandas hinzufügen und StatePartitionAllColumnFamiliesWriter-Bug beheben
  • SPARK-55289 Beheben Sie den instabilen Test in set-operations.sql durch Deaktivierung des Broadcast-Joins
  • SPARK-55040 Refactor TaskContext und das zugehörige Worker-Protokoll mit einer Engine-Pyspark-Korrektur.
  • SPARK-47996 Unterstützung für die Kreuzverschmelzung in der Pandas-API
  • SPARK-55031 Hinzufügen von Vektor-Avg/Sum-Aggregationsfunktionsausdrücken
  • SPARK-54410 Behebung der Lesefunktion für die logische Anmerkung des Variant-Datentyps.
  • SPARK-54776 Rückgängig machen von "[SC-216482][SQL] Verbesserte Protokollmeldung bezüglich Lambda-Funktion mit SQL UDF"
  • SPARK-55123 Hinzufügen von SequentialUnionOffset zum Nachverfolgen der sequenziellen Quellverarbeitung
  • SPARK-54972 Optimierung von NOT IN-Unterabfragen mit nicht-nullfähigen Spalten
  • SPARK-54776 Verbesserte Protokollmeldung zur Lambda-Funktion mit SQL UDF
  • SPARK-53807 Behebung von Race Condition-Problemen zwischen unlock und releaseAllLocksForTask in BlockInfoManager
  • SPARK-51831 Rückgängig machen von "[SC-207389][SQL] Spaltenbeschnitt mit existsJoin für Datasource V2"
  • SPARK-54881 Verbessern BooleanSimplification der Behandlung der Negation von Konjunktion und Disjunktion in einem Durchgang
  • SPARK-54696 Aufräumen von ArrowBuffers in Connect
  • SPARK-55009 Entfernen einer unnötigen Speicherkopie aus dem Konstruktor von LevelDBTypeInfo/RocksDBTypeInfo.Index
  • SPARK-54877 Konfigurieren von Display stacktrace auf der Fehlerseite der Benutzeroberfläche
  • SPARK-51831 Spaltenschnitt mit existsJoin für Datasource V2
  • SPARK-55285 Korrigieren der Initialisierung von PythonArrowInput
  • SPARK-53960 Lassen Sie approx_top_k_accumulate/combine/estimate NULLs behandeln
  • SPARK-49110 Vereinfachung von SubqueryAlias.metadataOutput, um Metadatenspalten immer weiterzugeben
  • SPARK-55155 Rückgängig machen "[SC-218401][SQL] Unterstützung faltbarer Ausdrücke in SET CATALOG Anweisung"
  • SPARK-55155 Unterstützung faltbarer Ausdrücke in der Anweisung SET CATALOG
  • SPARK-49110 Rückgängig machen "[SC-218594][SQL] Vereinfachung von SubqueryAlias.metadataOutput, um Metadatenspalten immer weiterzugeben"
  • SPARK-54399 Implementieren der st_setsrid-Funktion in Scala und PySpark
  • SPARK-49110 SubqueryAlias.metadataOutput vereinfachen, um Metadatenspalten immer weiterzugeben
  • SPARK-55133 Behebung der Race Condition im Lifecycle-Management von IsolatedSessionState
  • SPARK-55262 Blockierung von Geo-Typen in allen dateibasierten Datenquellen mit Ausnahme von Parquet
  • SPARK-54202 Konvertierung von GeometryType(srid) in GeometryType(ANY) zulassen
  • SPARK-54142 Implementieren der st_srid-Funktion in Scala und PySpark
  • SPARK-54887 Festlegen eines SQL-Zustands im Spark Connect-Client
  • SPARK-55237 Unterdrücken von lästigen Nachrichten beim Nachschlagen nicht vorhandener DBs
  • SPARK-55040 Wiederherstellen von "[SC-217628][PYTHON] Refactor TaskContext and related worker protocol"
  • SPARK-55243 Festlegen von binären Headern über das suffix -bin im Scala Connect-Client zulassen
  • SPARK-55259 Implementierung der Parquet-Schemakonvertierung für Geo-Typen
  • SPARK-55282 Vermeiden der Verwendung von worker_util auf der Treiberseite
  • SPARK-54151 Einführung des Frameworks zum Hinzufügen von ST-Funktionen in PySpark
  • SPARK-55194 Entfernen Sie GroupArrowUDFSerializer, indem Sie die Flachlegungslogik in den Mapper verschieben.
  • SPARK-55020 Gc beim Ausführen des gRPC-Befehls deaktivieren
  • SPARK-55053 Umgestalten von Datenquellen-/Udtf-Analysemitarbeitern, damit sie über einen einheitlichen Eintrag verfügen
  • SPARK-55040 Umgestalten von TaskContext und zugehörigem Arbeitsprotokoll
  • SPARK-55244 Verwenden von np.nan als Standardwert für Pandas-Zeichenfolgentypen
  • SPARK-55225 Wiederherstellen des ursprünglichen dtypes für Datetime
  • SPARK-55154 Entfernung des "Fastpath" zu "pd.Series" in Pandas 3
  • SPARK-55030 Hinzufügen von Unterstützung für Vektornorm/Normierungsfunktionsausdrücke
  • SPARK-55202 Beheben UNEXPECTED_USE_OF_PARAMETER_MARKER bei Verwendung von Param...
  • SPARK-54201 Umwandlung von GeographyType(srid) in GeographyType(ANY) zulassen
  • SPARK-54244 Einführung der Typkoersionsunterstützung für GEOMETRIE-Datentypen
  • SPARK-54160 ST_SetSrid-Ausdruck in SQL implementieren
  • SPARK-55046 PySpark udf-Verarbeitungszeitmetrik hinzufügen
  • SPARK-54101 Einführung des Frameworks zum Hinzufügen von ST-Funktionen in Scala
  • SPARK-54683 Vereinheitlichen der Blockierungen von Geo- und Zeittypen
  • SPARK-55249 Machen Sie DataFrame.toJSON in der Lage, Dataframe zurückzugeben
  • SPARK-54521 Zu und von WKB für Geometrietyp hinzufügen
  • SPARK-54162 Umwandlung von GeographyType in GeometryType zulassen
  • SPARK-55146 Überprüfung der Status-Repartitionierungs-API für PySpark
  • SPARK-55140 Eingebaute Funktionen nicht auf die Numpy-Version für Pandas 3 zuordnen
  • SPARK-54243 Einführung der Typkoersionsunterstützung für GEOGRAPHY-Datentypen
  • SPARK-55058 Auslösen eines Fehlers für inkonsistente Prüfpunktmetadaten
  • SPARK-55108 Verwenden Sie die neuesten Pandas-Stubs für die Typüberprüfung
  • SPARK-54091 Implementierung des ST_Srid-Ausdrucks in SQL
  • SPARK-55104 Hinzufügen der Spark Connect-Unterstützung für DataStreamReader.name()
  • SPARK-54996 Berichten Ankunftszeit für Datensätze aus dem LowLatencyMemoryStream
  • SPARK-55118 Ersetzen von ASM Opcodes-Wildcardimporten
  • SPARK-54365 Hinzufügen des Repartitionsintegrationstests für Aggregat-, Dedup-, FMGWS- und SessionWindow-Operatoren
  • SPARK-55119 Korrektur der Fortsetzungsroutine: Verhinderung von INTERNAL_ERROR und der Unterbrechung falscher bedingter Anweisungen
  • SPARK-54104 Untersagen der Umwandlung von Geospatialtypen in/von anderen Datentypen
  • SPARK-55240 Refaktorierung der LazyTry-Stacktrace-Behandlung, um einen Wrapper anstelle einer unterdrückten Ausnahme zu verwenden.
  • SPARK-55238 Verlegen der Geo SRS-Zuordnungslogik von main/scala nach main/java
  • SPARK-55179 Überspringen der sofortigen Validierung von Spaltennamen in df.col_name
  • SPARK-55055 Unterstützung von SparkSession.Builder.create für das PySpark Classic
  • SPARK-55186 Ermöglichen Sie ArrowArrayToPandasConversion.convert_legacy, pd.DataFrame zurückzugeben.
  • SPARK-54079 Einführung des Frameworks zum Hinzufügen von ST-Ausdrücken in Catalyst
  • SPARK-54096 Unterstützung der Räumlichen Referenzsystemzuordnung in PySpark
  • SPARK-54801 Markieren einiger neuer 4.1-Konfigurationen als intern
  • SPARK-55146 Revert "[SC-217936][SC-210779][SS] State Repartition API for PySpark"
  • SPARK-54559 Verwenden von runnerConf zum Übergeben der Profiler-Option
  • SPARK-55205 Beheben von Tests, bei denen davon ausgegangen wird, dass der Zeichenfolgentyp in ein Objekt konvertiert wird
  • SPARK-55171 Problem mit dem Speicherprofiler bei iterativen UDFs beheben
  • SPARK-55226 Erkennen von Datums- und Zeitdelta mit anderen Einheiten als [ns]
  • SPARK-55027 Move writeConf to PythonWorkerUtils
  • SPARK-55197 Extrahiere _write_stream_start Hilfsfunktion, um die START_ARROW_STREAM Signallogik zu deduplizieren.
  • SPARK-54179 Hinzufügen nativer Unterstützung für Apache Tuple Sketches (#190848) (#191111)
  • SPARK-55151 Behebung des Tests testWithStateStoreCheckpointIds in der RocksDBSuite
  • SPARK-55146 Zustands-Neupartitions-API für PySpark
  • SPARK-54232 Aktivieren der Pfeil serialisierung für Geografie- und Geometrietypen
  • SPARK-53957 Unterstützung von GEOGRAFIE und GEOMETRIE im SpatialReferenceSystemMapper
  • SPARK-55169 Einsatz von ArrowBatchTransformer.flatten_struct in ArrowStreamArrowUDTFSerializer
  • SPARK-55134 Beheben BasicExecutorFeatureStep des Auslösens IllegalArgumentException für cpu-Fehlkonfigurationen des Executors
  • SPARK-54166 Einführung von Typ-Encodern für Geospatialtypen in PySpark
  • SPARK-55138 Beheben convertToMapData eines Wurffehlers NullPointerException
  • SPARK-55168 Verwenden Sie ArrowBatchTransformer.flatten_struct in GroupArrowUDFSerializer
  • SPARK-55032 Umgestalten von Profilern in workers.py
  • SPARK-54990 Fehler bei der Implementierung der Klasseneigenschaft in session.py beheben
  • SPARK-55076 Beheben des Typhinweisproblems in ml/mllib und Hinzufügen von Scipy-Anforderung
  • SPARK-55162 Extrahieren von Transformatoren aus ArrowStreamUDFSerializer
  • SPARK-55121 Hinzufügen DataStreamReader.name() zum klassischen PySpark
  • SPARK-54887 SQLState optional zu SparkThrowables hinzufügen
  • SPARK-54169 Einführung von Geografie- und Geometrietypen im Arrow Writer
  • SPARK-51658 Einführung von Geometrie- und Geografie-Wrapperformaten im Arbeitsspeicher
  • SPARK-54110 Einführung von Typ-Encodern für Geografie- und Geometrietypen
  • SPARK-54956 Vereinheitlichung der Lösung zum unbestimmten Shuffle-Neuversuch
  • SPARK-55137 Refaktorierung von GroupingAnalyticsTransformer und Analyzer Code
  • SPARK-54103 Einführung von clientseitigen Geografie- und Geometrieklassen
  • SPARK-55160 Direktes Übergeben des Eingabeschemas an Serialisierer
  • SPARK-55170 Extrahieren des gruppierten Datenstromlesemusters aus Serialisierern
  • SPARK-55125 Entfernen redundanter __init__ Methoden in Arrow Serializern
  • SPARK-55126 Entfernen Sie die nicht verwendete Zeitzone und „assign_cols_by_name“ aus ArrowStreamArrowUDFSerializer
  • SPARK-54980 Konvertieren der JDBC-Isolationsstufe in eine Zeichenfolge
  • SPARK-55051 Bytezeichenfolge akzeptiert KiB, MiB, GiB, TiB, PiB
  • SPARK-55025 Verbessern der Leistung in Pandas mithilfe des Listenverständnisses
  • SPARK-46165 Fügen Sie Unterstützung für Pandas hinzu. DataFrame.all axis=1
  • SPARK-55037 Erneutes Implementieren von Beobachtung ohne Verwenden des QueryExecutionListener
  • SPARK-54965 Legacy pa.Array -> pd.Series-Konverter eliminieren
  • SPARK-55016 Erstellen von SQLConf zu einer direkten Eigenschaft von SparkSession, um Stapelüberlauf zu verhindern
  • SPARK-55091 Reduzierung von HIVE-RPC-Aufrufen für DROP TABLE Befehl
  • SPARK-55097 Behebung des Problems, dass beim erneuten Hinzufügen zwischengespeicherter Artefakte unbemerkt Blöcke entfernt werden
  • SPARK-55026 Optimieren Sie BestEffortLazyVal.
  • SPARK-55091 Rückgängig machen von "[SC-217410][SQL] Reduzieren von Hive RPC-Aufrufen für DROP TABLE Befehl"
  • SPARK-54590 Checkpoint V2 für Zustandsumschreibung und Neupartitionierung unterstützen
  • SPARK-55016 Erstellen von SQLConf zu einer direkten Eigenschaft von SparkSession, um Stapelüberlauf zu verhindern
  • SPARK-55091 Reduzierung der HIVE-RPC-Aufrufe für DROP TABLE Befehl
  • SPARK-55016 Revert "[SC-217401][SQL] SQLConf direkt als Eigenschaft von SparkSession festlegen, um Stacküberlauf zu verhindern"
  • SPARK-55016 Erstellen von SQLConf zu einer direkten Eigenschaft von SparkSession, um Stapelüberlauf zu verhindern
  • SPARK-55098 Vektorisierte UDFs mit Ausgabebatchgrößensteuerung schlagen mit Speicherleck fehl
  • SPARK-54824 Hinzufügen von Unterstützung für multiGet und deleteRange für den Rocksdb State Store
  • SPARK-55054 Hinzufügen der UNTERSTÜTZUNG VON IDENTIFIED BY für Streaming von Tabellenwertfunktionen
  • SPARK-55029 Übertragung des identifizierenden Namens der Streamingquelle durch die Auflösungspipeline
  • SPARK-55071 Sicherstellen, dass spark.addArtifact mit Windows-Pfaden funktioniert
  • SPARK-54103 Rückgängig machen "[SC-210400][Geo][SQL] Einführung clientseitiger Geografie- und Geometrieklassen"
  • SPARK-54103 Einführung von clientseitigen Geografie- und Geometrieklassen
  • SPARK-54033 Einführung von Catalyst serverseitigen Ausführungsklassen für Geodaten
  • SPARK-54176 Einführung der Datentypen "Geography" und "Geometry" in PySpark Connect
  • SPARK-55089 Korrigieren des Ausgabeschemas von toJSON
  • SPARK-55035 Shuffle-Bereinigung bei untergeordneten Ausführungen durchführen
  • SPARK-55036 Hinzufügen ArrowTimestampConversion für die Behandlung von Pfeilzeitzonen
  • SPARK-55090 Implementieren DataFrame.toJSON in Python-Client
  • SPARK-54873 Vereinfachung der V2TableReference-Auflösung, da nur eine temporäre Ansicht diese möglicherweise enthalten kann.
  • SPARK-52828 Hashing für sortierte Zeichenfolgen unabhängig von Sortierreihenfolgen machen
  • SPARK-54175 Hinzufügen von Geografie- und Geometrietypen zu Spark Connect proto
  • SPARK-54961 Einführen GroupingAnalyticsTransformer
  • SPARK-55088 Beibehalten der Metadaten in/from_arrow_type/Schema
  • SPARK-55070 Versteckte Spalte in der Datenframe-Spaltenauflösung zulassen
  • SPARK-55044 Beibehalten der Metadaten in toArrowSchema/fromArrowSchema
  • SPARK-55043 Korrigieren der Zeitreise mit Unterabfragen, die Tabellenverweise enthalten
  • SPARK-54987 Ändern des Standardwerts von prefer_timestamp_ntz in "True" from_arrow_type/from_arrow_schema
  • SPARK-54866 Drop/RefreshFunction umzugestalten, um die Katalogsuche zu vermeiden
  • SPARK-55024 Verwendung des Fehlers REQUIRES_SINGLE_PART_NAMESPACE für die Überprüfung des Sitzungskatalog-Namespace
  • SPARK-54992 Ersetze die Umwandlung durch eine Laufzeitüberprüfung für make_timestamp
  • SPARK-55024 Rückgängig machen von "[SC-216987][SQL] Verwendung des REQUIRES_SINGLE_PART_NAMESPACE-Fehlers zur Validierung des Sitzungskatalog-Namespace"
  • SPARK-54866 Rückgängig machen: "[SC-216753][SQL] Refactoring von Drop/RefreshFunction zur Vermeidung der Katalogsuche"
  • SPARK-55024 Verwenden des Fehlers REQUIRES_SINGLE_PART_NAMESPACE zur Überprüfung des Sitzungskatalog-Namespaces
  • SPARK-54866 Drop/RefreshFunction umzugestalten, um die Katalogsuche zu vermeiden
  • SPARK-54991 Korrekter Typhinweis für Streaming/listener.py
  • SPARK-54925 Hinzufügen der Funktion zum Erstellen von Thread-Dumps für PySpark
  • SPARK-54803 Unterstützung NACH NAME mit INSERT ... ERSETZEN WHERE
  • SPARK-54785 Unterstützung für binäre Skizzenaggregationen in KLL (#188370) (#188860) hinzufügen
  • SPARK-54949 Verschieben von pyproject.toml zum Repositorystamm
  • SPARK-54954 Remotebezogene Typ-Hinweise in util.py beheben
  • SPARK-54922 Vereinheitlichen, wie Argen an Python-Worker übergeben werden
  • SPARK-54870 Kollationsunterstützung für char/varchar und CTAS/RTAS
  • SPARK-54762 Beheben _create_converter und covert Überladungssignatur
  • SPARK-55019 Erlauben, dass DROP TABLE eine VIEW löschen kann
  • SPARK-53103 Auslösen eines Fehlers, wenn das Statusverzeichnis beim Starten der Abfrage nicht leer ist
  • SPARK-54995 Erstellen eines schnellen Pfads für foreachPartition
  • SPARK-54634 Klare Fehlermeldung für leeres IN-Prädikat hinzufügen
  • SPARK-54984 Ausführung der Zustand-Partitionierung und in den State Rewriter integrieren
  • SPARK-54443 PartitionKeyExtractor in den Re-Partition-Reader integrieren
  • SPARK-54907 Einführung der NameStreamingSources-Analyseregel für die Entwicklung von Streamingquellen
  • SPARK-54609 Aktualisieren der Zeitkonfiguration, um sie mit der OSS-Version abzustimmen
  • SPARK-54988 Vereinfachen der Implementierung von ObservationManager.tryComplete
  • SPARK-54959 Deaktivieren Sie die vollständige Neuausführung bei einer Shuffle-Prüfsummenabweichung, wenn die push-basierte Shuffle aktiviert ist
  • SPARK-54940 Tests hinzufügen für pa.scalar Typ-Inferenz
  • SPARK-54634 Rückgängig machen "[SC-216478][SQL] Klarer Fehlerhinweis für leere IN-Prädikate hinzufügen"
  • SPARK-54337 Unterstützung für PyCapsule zu Pyspark hinzufügen
  • SPARK-54634 Hinzufügen einer klaren Fehlermeldung für leeres IN-Prädikat
  • SPARK-53785 Speicherquelle für RTM
  • SPARK-54883 Bereinigen von Fehlermeldungen für CLI und Hinzufügen des neuen Fehlermodus DEBUG
  • SPARK-54713 Unterstützung für Ausdrücke von Vektorähnlichkeits- und Distanzfunktionen hinzufügen
  • SPARK-54962 Korrigieren der Behandlung von nullablen Ganzzahlen in Pandas UDF
  • SPARK-54864 Hinzufügen von rCTE-Knoten zu NormalizePlan
  • SPARK-53847 Hinzufügen von ContinuousMemorySink für Echtzeitmodustests
  • SPARK-54865 Hinzufügen von foreachWithSubqueriesAndPruning-Methode zu QueryPlan
  • SPARK-54930 Entfernen redundanter _accumulatorRegistry.clear()-Aufruf in worker.py
  • SPARK-54929 Korrigiert das Zurücksetzen von taskContext._resources in einer Schleife, das bewirkt, dass nur die letzte Ressource beibehalten wird.
  • SPARK-54963createDataFrame beachten prefer_timestamp_ntz, wenn infer_pandas_dict_as_map
  • SPARK-54920 Verschieben der Gruppierungsanalyseextraktionslogik auf eine gemeinsame GroupingAnalyticsExtractor
  • SPARK-54924 Zustandsumschreiber, um Zustand zu lesen, zu transformieren und neuen Zustand zu schreiben
  • SPARK-54872 Vereinheitlichen der Spaltenstandardwertbehandlung zwischen v1- und v2-Befehlen
  • SPARK-54905 Vereinfachen der ForeachWithSubqueries-Implementierung in QueryPlan
  • SPARK-54682 Unterstützung der Anzeige von Parametern in DESCRIBE PROCEDURE
  • SPARK-54933 Vermeiden Sie wiederholtes Abrufen der Konfiguration binary_as_bytes in toLocalIterator
  • SPARK-54872 Wiederherstellen von "[SC-216260][SQL] Vereinheitlichen der Spaltenstandardwertbehandlung zwischen v1- und v2-Befehlen"
  • SPARK-51936 ReplaceTableAsSelect sollte die neue Tabelle anstelle des Anfügens überschreiben.
  • SPARK-54771 ResolveUserSpecifiedColumns-Regel aus RuleIdCollection entfernen
  • SPARK-54872 Vereinheitlichen der Spaltenstandardwertbehandlung zwischen v1- und v2-Befehlen
  • SPARK-54313 Option --extra-properties-file zur Konfigurationsschichtung hinzufügen
  • SPARK-54468 Fehlende Fehlerklassen hinzufügen
  • SPARK-46741 Cache-Tabelle mit CTE sollte funktionieren, wenn CTE in Unterabfragen eines Planausdrucks enthalten ist
  • SPARK-46741 Die Cachetabelle mit CTE funktioniert nicht.
  • SPARK-54615 Immer runner_conf an Python Worker übergeben
  • SPARK-53737 Hinzufügen eines Echtzeitmodusauslösers
  • SPARK-54541 Umbenennen von _LEGACY_ERROR_TEMP_1007 und Hinzufügen von "sqlState"
  • SPARK-54718 Beibehalten von Attributnamen während der CTE newInstance()
  • SPARK-54621 In Updatesatz einfügen * verschachtelte Felder beibehalten, wenn coerceNestedTypes aktiviert ist.
  • SPARK-54595 Vorhandenes Verhalten MERGE INTO ohne SCHEMA EVOLUTION-Klausel beibehalten
  • SPARK-54903 Ermöglichen der Festlegung der Zeitzone für to_arrow_schema/to_arrow_type
  • SPARK-52326 Partitionen im Zusammenhang mit ExternalCatalogEvent hinzufügen und sie in den entsprechenden Vorgängen veröffentlichen
  • SPARK-54541 Rückgängig machen "[SC-215212][SQL] Umbenennung von _LEGACY_ERROR_TEMP_1007 und das Hinzufügen von sqlState"
  • SPARK-54578 Ausführen der Codebereinigung für AssignmentUtils
  • SPARK-54830 Aktivieren der überprüfungsbasierten unbestimmten Shuffle-Wiederholung standardmäßig
  • SPARK-54525 Deaktivieren der geschachtelten Strukturkoersion in MERGE INTO einer Konfiguration
  • SPARK-53784 Zusätzliche Quell-APIs, die zur Unterstützung der RTM-Ausführung erforderlich sind
  • SPARK-54496 Fehler bei der Schemaentwicklung mit 'Merge Into' im Dataframe-API beheben.
  • SPARK-54835 Vermeiden Sie unnötige temporäre QueryExecution für die Ausführung geschachtelter Befehle.
  • SPARK-54541 Umbenennen von _LEGACY_ERROR_TEMP_1007 und Hinzufügen von "sqlState"
  • SPARK-54289 Zulassen MERGE INTO , dass vorhandene Strukturfelder für UPDATESET * beibehalten werden, wenn die Quellstruktur weniger geschachtelte Felder enthält als zielstruktur
  • SPARK-54720 Hinzufügen von SparkSession.emptyDataFrame mit einem Schema
  • SPARK-54800 Geänderte Standardimplementierung für isObjectNotFoundException
  • SPARK-54686 Lockerung der DSv2-Tabellenprüfungen in temporären Ansichten, um neue Top-Level-Spalten zuzulassen
  • SPARK-54619 Hinzufügen einer Überprüfung der Plausibilität von Konfigurationsnummern
  • SPARK-54726 Leistungsverbesserung für InsertAdaptiveSparkPlan
  • SPARK-51966 Ersetzen Sie select.select() durch select.poll() bei Ausführung auf POSIX os
  • SPARK-54749 Korrigieren falscher NumOutputRows-Metriken in OneRowRelationExec
  • SPARK-54411 Einführung eines Repartition Writers, der Multi-CF unterstützt
  • SPARK-54835 Rückgängig machen von "[SC-215823][SQL] Unnötige temporäre QueryExecution für die Ausführung geschachtelter Befehle vermeiden"
  • SPARK-54867 Einführung des NamedStreamingRelation-Wrappers für die Quellidentifikation während der Analyse
  • SPARK-54835 Vermeiden Sie unnötige temporäre QueryExecution für die Ausführung geschachtelter Befehle.
  • SPARK-54491 Fehler beim Einfügen in eine temporäre View bei DSv2-Tabellen beheben
  • SPARK-54871 Kürzen von Aliasen aus Gruppierungs- und Aggregatausdrücken vor der Behandlung von Gruppierungsanalysen
  • SPARK-51920 Beheben der Typbehandlung von namedTuple für transfromWithState
  • SPARK-54526 _LEGACY_ERROR_TEMP_1133 umbenennen und sqlState hinzufügen
  • SPARK-54424 Fehler während des Recaching dürfen nicht zu einem Fehlschlagen der Operationen führen
  • SPARK-54894 Korrektur der Argumentübergabe to_arrow_type
  • SPARK-53448 Konvertierung eines Pyspark DataFrame mit einer Variant-Spalte in Pandas schlägt mit einem Fehler fehl.
  • SPARK-54882 Entfernen von Legacy PYARROW_IGNORE_TIMEZONE
  • SPARK-54504 Version-Aktualisierung für DSv2-Tabellen mit Unterabfragen
  • SPARK-54444 Lockerung von DSv2-Tabellenüberprüfungen, um das frühere Verhalten wiederherzustellen
  • SPARK-54859 Arrow standardmäßig PySpark UDF API Referenzdokumentation
  • SPARK-54387 Rückgängig machend von "[ES-1688666] Rückgängig machend von "[SC-212394][SQL] Korrigieren des Erneut-Cachens von DSv2 Tabellen""
  • SPARK-54753 beheben Speicherleck von ArtifactManager
  • SPARK-54387 Rückgängig machen von "[SC-212394][SQL] Das Problem beim erneuten Zwischenspeichern von DSv2-Tabellen beheben"
  • SPARK-54436 Beheben der Fehlerformatierung für inkompatible Tabellenmetadatenüberprüfungen
  • SPARK-54849 Aktualisieren der Mindestversion von pyarrow 18.0.0
  • SPARK-54022 DSv2-Tabellenauflösung für zwischengespeicherte Tabellen berücksichtigen
  • SPARK-54387 Behebung des Neucachens von DSv2-Tabellen
  • SPARK-53924 DSv2-Tabellen bei jedem Zugriff auf die mit Plänen erstellten Ansichten neu laden
  • SPARK-54561 Unterstützung für breakpoint() in run-tests.py
  • SPARK-54157 Fehler bei der Aktualisierung von DSv2-Tabellen im Dataset beheben
  • SPARK-54830 Rückgängig machen von "[CORE] Standardmäßiges Aktivieren der auf Prüfsummen basierenden indeterminierten Shuffle-Wiederholung"
  • SPARK-54861 Zurücksetzen des Aufgabenthreadnamens auf IDLE_TASK_THREAD_NAME, wenn die Aufgabe abgeschlossen ist
  • SPARK-54834 Hinzufügen neuer Schnittstellen "SimpleProcedure" und "SimpleFunction"
  • SPARK-54760 DelegatingCatalogExtension als Sitzungskatalog unterstützt sowohl V1- als auch V2-Funktionen
  • SPARK-54685 Entfernen redundanter Antworten auf beobachtete Metriken
  • SPARK-54853 Immer auf der Spark-Seite überprüfen hive.exec.max.dynamic.partitions
  • SPARK-54840 OrcList Vorabzuweisung
  • SPARK-54830 Aktivieren der überprüfungsbasierten unbestimmten Shuffle-Wiederholung standardmäßig
  • SPARK-54850 VerbessernextractShuffleIds, um überall in der Planstruktur zu suchen AdaptiveSparkPlanExec
  • SPARK-54843 Try_to_number Ausdruck funktioniert nicht für leere Zeichenfolgeneingaben
  • SPARK-54556 Rollback von Shuffle-Map-Stufen bei Erkennung eines Shuffle-Prüfsummenfehlers
  • SPARK-54760 Revert "[SC-215670][SQL] DelegatingCatalogExtension als Sitzungskatalog, der sowohl V1- als auch V2-Funktionen unterstützt"
  • SPARK-54760 DelegatingCatalogExtension als Sitzungskatalog unterstützt sowohl V1- als auch V2-Funktionen
  • SPARK-54818 Fehler bei der Speicherzuweisung durch TaskMemoryManager sollte den Fehlerprotokollstapel protokollieren, zur Überprüfung der Speicherauslastung.
  • SPARK-54827 Hilfsfunktion hinzufügen TreeNode.containsTag
  • SPARK-54777 Rückgängig machen "[SC-215740][SQL] Geänderte Fehlerbehandlung der Methode dropTable in JDBCTableCatalog.dropTable(...)"
  • SPARK-54777 Geänderte dropTable-Fehlerbehandlung in JDBCTableCatalog.dropTable(...)
  • SPARK-54817 Überarbeitung der Auflösungslogik Unpivot in UnpivotTransformer
  • SPARK-54820pandas_on_spark_type mit numpy 2.4.0 kompatibel machen
  • SPARK-54799 Umgestalten UnpivotCoercion
  • SPARK-54754 OrcSerializer sollte das Schema nicht jedes Mal analysieren, wenn es serialisiert wird
  • SPARK-54226 Erweiterung der Arrow-Komprimierung auf Pandas UDF
  • SPARK-54787 Listen-Komprehension anstelle von Schleifen in Pandas verwenden
  • SPARK-54690Frame.__repr__ unempfindlich gegen Pfeiloptimierung machen
  • SPARK-46166 Implementierung von pandas.DataFrame.any mit axis=None
  • SPARK-54696 Bereinigung von Arrow-Puffern – Weiterführung
  • SPARK-54769 Entfernen von inaktiven Code in conversion.py
  • SPARK-54787 Verwendung von List Comprehension in pandas _bool_column_labels
  • SPARK-54794 Ausführliche FsHistoryProvider.checkForLogs Überprüfungsprotokolle unterdrücken
  • SPARK-54745 Beheben des PySpark-Importfehlers aufgrund fehlender UnixStreamServer unter Windows
  • SPARK-54782 Korrigieren der Konfigurationsversionen
  • SPARK-54781 Rückgabemodellcacheinformationen im JSON-Format
  • SPARK-54419 Offline-Repartitionierungsstatusleser unterstützt Spaltenfamilien mit mehreren Spalten
  • SPARK-54722 Registrieren von Pandas Grouped Iter Aggregate UDF für die SQL-Verwendung
  • SPARK-54762 Wiederherstellen von "[SC-215422][PYTHON] Fix _create_converter - und covert Überladungssignatur"
  • SPARK-54652 Rückgängig machen von "[SC-215452][SQL] Vollständige Konvertierung von IDENTIFIER()"
  • SPARK-54762 Beheben _create_converter und covert Überladungssignatur
  • SPARK-52819 Machen Von KryoSerializationCodec serialisierbar, um java.io.NotSerializableException-Fehler in verschiedenen Anwendungsfällen zu beheben
  • SPARK-54711 Hinzufügen eines Timeouts für vom Daemon erstellte Workerverbindung
  • SPARK-54738 Hinzufügen der Profilerunterstützung für Pandas Grouped Iter Aggregate UDF
  • SPARK-54652 Vollständige Konvertierung von IDENTIFIER()
  • SPARK-54581 Machen der fetchsize-Option bei Postgres-Connector groß-/kleinschreibungsunabhängig
  • SPARK-54589 ArrowStreamAggPandasIterUDFSerializer in ArrowStreamAggPandasUDFSerializer konsolidieren
  • SPARK-41916 Torch-Distributor: Unterstützen Sie mehrere torchrun Prozesse pro Aufgabe, wenn task.gpu.amount > 1.
  • SPARK-54707 Hauptlogik für die Umgestaltung PIVOT der Auflösung PivotTransformer
  • SPARK-54706 Verteiltes LDAModell mit lokalem Dateisystem funktionieren lassen
  • SPARK-53616 Einführung der Iterator-API für gruppierte Aggregations-UDFs mit Pandas
  • SPARK-54116 Hinzufügen der Unterstützung für den Off-Heap-Modus für LongHashedRelation
  • SPARK-54656 Refaktorisieren von SupportsPushDownVariants, um ein ScanBuilder-Mix-in zu sein
  • SPARK-54687 Hinzufügen einer goldenen Datei mit Edgefällen mit Generatorenauflösung
  • SPARK-54708 Optimierung der ML-Cachebereinigung durch verzögerte Verzeichniserstellung
  • SPARK-54116 Rückgängig machen der Änderung "[SC-213108][SQL] Unterstützung für den Off-Heap-Modus für LongHashedRelation hinzufügen"
  • SPARK-54116 Hinzufügen der Unterstützung für den Off-Heap-Modus für LongHashedRelation
  • SPARK-54443 Partitionsschlüsselextraktion für alle Streamingstatusoperatoren
  • SPARK-54687 Wiederherstellen von "[SC-214791][SQL] Hinzufügen einer goldenen Datei mit Edgefällen mit Generatorauflösung"
  • SPARK-54116 Rückgängig machen "[SC-213108][SQL] Unterstützung für den Off-Heap-Modus für LongHashedRelation hinzufügen"
  • SPARK-54687 Hinzufügen einer goldenen Datei mit Edgefällen mit Generatorenauflösung
  • SPARK-54116 Hinzufügen der Unterstützung für den Off-Heap-Modus für LongHashedRelation
  • SPARK-54420 Einführung von Offline-Neupartitionierung im StatePartitionWriter für eine einzelne Spaltenfamilie
  • SPARK-54689 Internes Paket erstellen org.apache.spark.sql.pipelines und privat machen EstimatorUtils
  • SPARK-54673 Refaktorieren Sie den SQL-Pipe-Syntax-Analysecode zur gemeinsamen Nutzung und Wiederverwendung.
  • SPARK-54668 Hinzufügen von Tests für CTEs in Operatoren mit mehreren untergeordneten Elementen
  • SPARK-54669 Entfernen redundanter Umwandlungen in rCTEs
  • SPARK-54587 Konsolidieren aller runner_conf zugehörigen Codes
  • SPARK-54628 Entfernen aller unnötigen expliziten Super()-Argumente
  • SPARK-54675 Hinzufügen eines konfigurierbaren Timeouts für das erzwungene Herunterfahren des StateStore-Wartungsthreadpools
  • SPARK-54639 Vermeiden Sie unnötige Tabellenerstellung in Arrow-Serialisierern
  • SPARK-49635 AnSI-Konfigurationsvorschlag in CAST-Fehlermeldungen entfernen
  • SPARK-54664 Bereinigung des Codes in Bezug auf listenerCache von connect.StreamingQueryManager
  • SPARK-54640 Ersetze select.select durch select.poll auf UNIX
  • SPARK-54662viztracer und debugpy in dev/requirements.txt Hinzufügen
  • SPARK-54632 Option hinzufügen, Ruff für Linting zu verwenden
  • SPARK-54585 Behebung des Zustandspeicher-Rollbacks, wenn der Thread im unterbrochenen Zustand ist
  • SPARK-54172 Zusammenführen in Die Schemaentwicklung sollte nur referenzierte Spalten hinzufügen
  • SPARK-54438 ArrowStreamAggArrowIterUDFSerializer in ArrowStreamAggArrowUDFSerializer konsolidieren
  • SPARK-54627 Entfernen redundanter Initialisierungen in Serialisierern
  • SPARK-54631 Hinzufügen der Profilerunterstützung für Arrow Grouped Iter Aggregate UDF
  • SPARK-54316 Erneut anwenden [SC-213971][CORE][PYTHON][SQL] Konsolidieren GroupPandasIterUDFSerializer mit GroupPandasUDFSerializer
  • SPARK-54392 Optimieren der JVM-Python-Kommunikation für TWS-Anfangszustand
  • SPARK-54617 Aktivieren der Arrow Gruppierten Iterativen Aggregate UDF-Registrierung für SQL
  • SPARK-54544 Aktivieren der Flake8 F811-Prüfung
  • SPARK-54650 Int-Konvertierung in Dezimal verschieben nach _create_converter_from_pandas
  • SPARK-54316 Rückgängig machen: "[SC-213971][CORE][PYTHON][SQL] Konsolidierung von GroupPandasIterUDFSerializer mit GroupPandasUDFSerializer"
  • SPARK-53687WATERMARK-Klausel in SQL-Anweisung einführen
  • SPARK-54316 Konsolidieren GroupPandasIterUDFSerializer mit GroupPandasUDFSerializer
  • SPARK-54598 Extrahieren der Logik zum Lesen von UDFs
  • SPARK-54622 Fördern von RequiresDistributionAndOrdering und dessen erforderlichen Schnittstellen zu Evolving
  • SPARK-54624 Sicherstellen, dass der Benutzername auf der Verlaufsseite maskiert wird
  • SPARK-54580 Erwägen von Hive 4.1 in HiveVersionSuite und HiveClientImpl
  • SPARK-54068 Fix to_feather zur Unterstützung von PyArrow 22.0.0
  • SPARK-54618 Höherstufen LocalScan zu Stable
  • SPARK-54616SupportsPushDownVariants als Experimental markieren
  • SPARK-54607 Nicht verwendete Methode toStringHelper entfernen aus AbstractFetchShuffleBlocks.java
  • SPARK-53615 Einführung der Iterator-API für gruppierte Aggregations-UDFs im Arrow-Framework
  • SPARK-54608 Vermeiden der doppelten Zwischenspeicherung des Typkonverters in UDTF
  • SPARK-54600 Verwenden Sie pickle nicht zum Speichern/Laden von Modellen in pyspark.ml.connect
  • SPARK-54592 Privat machen estimatedSize
  • SPARK-54388 Einführung von StatePartitionReader, die unformatierte Bytes für Single ColFamily scannen
  • SPARK-54570 Die Fehlerklasse in Spark Connect richtig verteilen
  • SPARK-54577 Optimierung der Py4J-Aufrufe in der Schema-Inferenz
  • SPARK-54568 Vermeiden Sie unnötige Pandas-Konvertierungen beim Erstellen von Datenframes aus ndarray
  • SPARK-54576 Dokumentation für neue Datasketches-basierte Aggregatfunktionen hinzufügen
  • SPARK-54574 Reaktivieren von FPGrowth bei Verbindung
  • SPARK-54557 CSV/JSON/XmlOptions und CSV/JSON/XmlInferSchema vergleichbar machen
  • SPARK-52798 Funktion hinzufügen approx_top_k_combine
  • SPARK-54446 FPGrowth unterstützt lokales Dateisystem mit Pfeildateiformat
  • SPARK-54547 Variable in den TaskSchedulerImpl.(executorLost|logExecutorLoss)-Methoden umbenennen in host
  • SPARK-54558 Interne Ausnahme beheben, wenn Ausnahmehandler ohne BEGIN/END verwendet werden
  • SPARK-52923 Allow ShuffleManager die Steuerung der Push-Zusammenführung während der Registrierung für Shuffle zu übernehmen
  • SPARK-54474 Verwerfen des XML-Berichts für Tests, die fehlschlagen sollen
  • SPARK-54473 Hinzufügen von Avro-Lese- und Schreibunterstützung für TIME-Typ
  • SPARK-54472 Hinzufügen von ORC-Lese- und Schreibunterstützung für TIME-Typ
  • SPARK-54463 Hinzufügen von CSV-Serialisierungs- und Deserialisierungsunterstützung für TIME-Typ
  • SPARK-52588 Approx_top_k: Akkumulation und Schätzung
  • SPARK-54461 Hinzufügen von XML-Serialisierungs- und Deserialisierungsunterstützung für TIME-Typ
  • SPARK-54451 Hinzufügen von JSON-Serialisierungs- und Deserialisierungsunterstützung für TIME-Typ
  • SPARK-54537 Problem bei SparkConnectDatabaseMetaData getSchemas/getTables für Kataloge mit fehlender Namespace-Fähigkeit beheben
  • SPARK-54442 Hinzufügen numerischer Konvertierungsfunktionen für DEN TIME-Typ
  • SPARK-54451 Revert "[SC-212861][SQL] Add JSON serialization and deserialization support for TIME type"
  • SPARK-54492 Umbenennen von _LEGACY_ERROR_TEMP_1201 und Hinzufügen von "sqlState"
  • SPARK-54531 Einführung von ArrowStreamAggPandasUDFSerializer
  • SPARK-54223 Hinzufügen von Aufgabenkontext- und Datenmetriken zu Python-Runner-Protokollen
  • SPARK-54272 Hinzufügen von aggTime für SortAggregateExec
  • SPARK-53469 Möglichkeit zum Bereinigen von Shuffle im Thrift-Server
  • SPARK-54219 Unterstützung von spark.cleaner.referenceTracking.blocking.timeout Konfiguration
  • SPARK-54475 Hinzufügen von Master-Server, Branch-4.0-Client, Python 3.11
  • SPARK-54451 Hinzufügen von JSON-Serialisierungs- und Deserialisierungsunterstützung für TIME-Typ
  • SPARK-54285 Zwischenspeichern von Zeitzoneninformationen, um teure Zeitstempelkonvertierungen zu vermeiden
  • SPARK-49133MemoryConsumer#used Member atomar machen, um zu verhindern, dass der Benutzercode einen Deadlock verursacht
  • SPARK-46166 Implementierung von pandas.DataFrame.any mit axis=1
  • SPARK-54532 Hinzufügen von Unterstützung für sqlstate für PySparkException
  • SPARK-54435 spark-pipelines init sollte das Überschreiben vorhandener Verzeichnisse vermeiden.
  • SPARK-54247 Socket für util._load_from_socket explizit schließen

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

  • Betriebssystem: Ubuntu 24.04.3 LTS
  • Java: Zulu21.42+19-CA
  • Skala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Delta Lake: 4.0.1

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
annotierte-Dokumentation 0.0.4 annotated-types 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
Pfeil 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 Attrs 24.3.0 autocommand 2.2.2
azure-common 1.1.28 Azure Core 1.37.0 Azure-Identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.28.0
Azure-Speicher-Datei-Datensee 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 schwarz 24.10.0 Bleichmittel 6.2.0
Blinker 1.7.0 boto3 1.40.45 Botocore 1.40.45
CacheWerkzeuge 5.5.1 Zertifikat 2025.4.26 cffi 1.17.1
Chardet 4.0.0 Charset-Normalizer 3.3.2 klicken 8.1.8
cloudpickle 3.0.0 Kommunikation 0.2.1 Contourpy 1.3.1
Kryptographie 44.0.1 Fahrradfahrer 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 Databricks-SDK 0.67.0 dataclasses-json 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 Dekorateur 5.1.1
defusedxml 0.7.1 Deltalake 1.1.4 Deprecated 1.2.18
Distlib 0.3.9 Docstring zu Markdown 0.11 ausführen 1.2.0
Übersicht der Facetten 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
Dateisperrung 3.17.0 fonttools 4.55.3 fqdn 1.5.1
frozenlist 1.5.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth 2.47.0
Google Cloud Core 2.5.0 Google Cloud-Speicher 3.7.0 google-crc32c 1.8.0
google-resumable-media 2.8.0 googleapis-common-protos 1.65.0 GRPCIO 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 idna 3.7 importlib_metadata 8.5.0
inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.7.2 isoduration 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 Jedi 0.19.2 Jinja2 3.1.6
Jiter 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-Spezifikationen 2023.7.1 Jupyter-Ereignisse 0.12.0
jupyter-lsp 2.2.5 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.15.0 jupyter_server_terminals 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3 jupyterlab_widgets 1.1.11
kiwisolver 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 Marshmallow 3.26.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 mccabe 0.7.0 mdurl 0.1.0
mistune 3.1.2 mlflow-skinny 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
Multidict 6.1.0 mypy-Erweiterungen 1.0.0 nbclient 0.10.2
nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 Notebook 7.3.2 Notebook-Shim 0.2.4
numpy 2.1.3 oauthlib 3.2.2 openai 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
opentelemetry-semantic-conventions (opentelemetrie-semantische-Konventionen) 0,60b1 Orjson 3.11.5 Überschreibt 7.4.0
Verpackung 24,2 Pandas 2.2.3 Pandocfilter 1.5.0
Parso 0.8.4 pathspec 0.10.3 patsy 1.0.1
pexpect 4.8.0 Kissen 11.1.0 pip 25.0.1
platformdirs 4.3.7 plotly 5.24.1 plugin-fähig 1.5.0
prometheus_client 0.21.1 Prompt-Toolkit 3.0.43 propcache 0.3.1
proto-plus 1.27.0 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 pure-eval 0.2.2
Pyarrow 21.0.0 Pyasn1 0.4.8 Pyasn1-Module 0.2.8
pyccolo 0.0.71 Pycparser 2.21 Pydantisch 2.10.6
pydantic_core 2.27.2 Pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
Pyroaring 1.0.3 pytest 8.3.5 Python-dateutil 2.9.0.post0
python-dotenv 1.2.1 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
Python-LSP-Server 1.12.2 pytoolconfig 1.2.6 Pytz 2024.1
PyYAML 6.0.2 pyzmq 26.2.0 referenzierung 0.30.2
Regex 2024.11.6 requests 2.32.3 anforderungs-toolbelt 1.0.0
rfc3339-Prüfer 0.1.4 rfc3986-validator 0.1.1 rich 13.9.4
Seil 1.13.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.14.0 scikit-learn 1.6.1 SciPy 1.15.3
Seegeboren 0.13.2 Send2Trash 1.8.2 setuptools 78.1.1
Shellingham 1.5.4 Sechs 1.17.0 smmap 5.0.0
sniffio 1.3.0 sortierte Container 2.4.0 Sieb für Suppe 2,5
sqlparse 0.5.5 ssh-import-id 5.11 Stapeldaten 0.6.3
Starlet 0.50.0 strictyaml 1.7.3 Hartnäckigkeit 9.0.0
terminado 0.17.1 Threadpoolctl 3.5.0 tiktoken 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 tokenizers 0.22.2
tomli 2.0.1 Tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 Typwächter 4.3.0 typer-slim 0.21.1
types-python-dateutil 2.9.0.20251115 Eingabeprüfung 0.9.0 typing_extensions 4.12.2
tzdata 2024.1 ujson 5.10.0 unbeaufsichtigte Aktualisierungen 0,1
URI-Vorlage 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (Breite eines Zeichens) 0.2.5 webcolors 25.10.0 Webkodierungen 0.5.1
WebSocket-Client 1.8.0 Was ist neu im Patch 1.0.2 Rad 0.45.1
Wann auch immer 0.7.3 widgetsnbextension 3.6.6 Eingehüllt 1.17.0
yapf 0.40.2 yarl 1.18.0 zipp 3.21.0
zstandard 0.23.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2025-11-20 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 22.0.0 Askpass 1.2.1 prüfen, dass 0.2.1
backports 1.5.0 Basis 4.5.1 base64enc 0.1-3
bigD 0.3.1 bit 4.6.0 Bit64 4.6.0-1
bitops 1.0-9 Klumpen 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 Besen 1.0.10
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
Caret 7.0-1 CellRanger 1.1.0 Chron 2.3-62
Klasse 7.3-22 cli 3.6.5 clipr 0.8.0
clock 0.7.3 Gruppe 2.1.6 Codetools 0.2-20
Commonmark 2.0.0 Kompilierer 4.5.1 config 0.3.2
conflicted 1.2.0 cpp11 0.5.2 Buntstift 1.5.3
Zugangsdaten 2.0.3 cURL 7.0.0 data.table 1.17.8
Datensätze 4.5.1 DBI 1.2.3 dbplyr 2.5.1
Beschreibung 1.4.3 devtools 2.4.6 Diagramm 1.6.5
diffobj 0.3.6 verdauen 0.6.39 downlit 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
Ellipse 0.3.2 auswerten 1.0.5 Fans 1.0.7
farver 2.1.2 fastmap 1.2.0 fontawesome 0.5.3
forcats 1.0.1 foreach 1.5.2 Fremd 0.8-86
fs 1.6.6 Zukunft 1.68.0 future.apply 1.20.0
gargle 1.6.0 Generika 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 globals 0.18.0
Klebstoff 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 Graphik 4.5.1 grGeräte 4.5.1
grid 4.5.1 gridExtra 2.3 gsubfn 0.7
GT 1.1.0 g-Tabelle 0.3.6 Schutzhelm 1.4.2
Hafen 2.5.5 highr 0.11 hms 1.1.4
HTML-Werkzeuge 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 Ausweise 1.0.1
ini 0.3.1 IPRED 0.9-15 Isobande 0.2.7
iterators 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 Knitr 1.50
Etikettierung 0.4.3 later 1.4.4 lattice 0.22-5
lava 1.8.2 Lebenszyklus 1.0.4 „listenv“ 0.10.0
litedown 0.8 Schmiermittel 1.9.4 magrittr 2.0.4
markdown 2.0 MASS 7.3-60.0.1 Matrix 1.6-5
memoise 2.0.1 Methodik 4.5.1 mgcv 1.9-1
Mime-Kunst 0,13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 Modellierer 0.1.11 nlme 3.1-164
NNET 7.3-19 numDeriv 2016.8 bis 1.1 OpenSSL 2.3.4
otel 0.2.0 parallel 4.5.1 parallel dazu 1.45.1
Säule 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 loben 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 Prozessx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 Fortschritt 1.2.3 progressr 0.18.0
Versprechungen 1.5.0 proto 1.0.0 Stellvertreter 0.4-27
P.S. 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 reaktivierbar 0.4.4 reactR 0.6.1
READR 2.1.6 readxl (Softwarepaket zum Lesen von Excel-Dateien) 1.4.5 Rezepte 1.3.1
Rückspiel 2.0.0 Rückspiel2 2.1.2 fernbedienungen 2.5.0
reprex 2.1.1 Umform2 1.4.5 rlang 1.1.6
RMarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
RVEST 1.0.5 S7 0.2.1 Sass 0.4.10
scales 1.4.0 selectr 0.4-2 Sitzungsinformationen 1.2.3
Gestalt 1.4.6.1 glänzend 1.11.1 sourcetools 0.1.7-1
Sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spatial 7.3-17 splines 4.5.1 sqldf 0.4-11
SQUAREM 2021.1 Statistiken 4.5.1 Statistiken4 4.5.1
Stringi 1.8.7 stringr 1.6.0 Überleben 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 Textgestaltung 1.0.4
Tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 Zeitumstellung 0.3.0 timeDate 4051.111
tinytex 0.58 Werkzeuge 4.5.1 Zeitzonendatenbank (tzdb) 0.5.0
URL-Prüfer 1.0.1 Nutze dies 3.2.1 utf8 1.2.6
utils 4.5.1 Universelle eindeutige Kennung (UUID) 1.2-1 V8 8.0.1
VCTRS 0.6.5 viridisLite 0.4.2 vroom 1.6.6
Waldo 0.6.2 whisker 0.4.1 Withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 YAML-Dateiformat 2.3.10 zeallot 0.2.0
zip 2.3.3

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws Amazon-Kinesis-Client 1.15.3
com.amazonaws AWS Java SDK für Auto Scaling 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws aws-java-sdk-cloudfront 1.12.681
com.amazonaws aws-java-sdk-cloudhsm 1.12.681
com.amazonaws aws-java-sdk-cloudsearch (Cloud-Suchdienst) 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws aws-java-sdk-codedeploy 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws AWS-Java-SDK-Config 1.12.681
com.amazonaws aws-java-sdk-core 1.12.681
com.amazonaws aws-java-sdk-datapipeline 1.12.681
com.amazonaws aws-java-sdk-directconnect 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk (Java SDK für Elastic Beanstalk von AWS) 1.12.681
com.amazonaws aws-java-sdk-elasticloadbalancing (Software Development Kit für Elastic Load Balancing in AWS mit Java) 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK für Elastic Transcoder) 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws aws-java-sdk-glacier 1.12.681
com.amazonaws aws-java-sdk-glue (eine Bibliothek für den Glue-Service von Amazon Web Services) 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws aws-java-sdk-importexport 1.12.681
com.amazonaws aws-java-sdk-kinesis 1.12.681
com.amazonaws aws-java-sdk-kms 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-Protokolle 1.12.681
com.amazonaws aws-java-sdk-machinelearning (Maschinelles Lernen) 1.12.681
com.amazonaws aws-java-sdk-opsworks 1.12.681
com.amazonaws aws-java-sdk-rds 1.12.681
com.amazonaws aws-java-sdk-redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm 1.12.681
com.amazonaws aws-java-sdk-storagegateway (AWS-Storage-Gateway-SDK) 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws aws-java-sdk-Support (Unterstützung für AWS Java SDK) 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics Datenstrom 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Klassenkamerad 1.5.1
com.fasterxml.jackson.core Jackson-Anmerkungen 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core Jackson-Datenbindung 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine Koffein 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Einheimische
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Einheimische
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Einheimische
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Einheimische
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth Google-Auth-Library-Credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value AutoValue-Anmerkungen 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone fehleranfällige Annotationen 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava failureaccess 1.0.3
com.google.guava Guave 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (Software Development Kit für Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (Datenkompression mit LZF-Algorithmus) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
Commons-Dateihochladen Commons-Dateihochladen 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift Luftkompressor 2.0.2
io.delta delta-sharing-client_2.13 1.3.9
io.dropwizard.metrics Metrikanmerkung 4.2.37
io.dropwizard.metrics metrics-core 4.2.37
io.dropwizard.metrics Metrics-Graphit 4.2.37
io.dropwizard.metrics metrics-healthchecks 4.2.37
io.dropwizard.metrics Metrik-Jetty10 4.2.37
io.dropwizard.metrics Metrics-JMX 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics Metrik-Servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty Netty Codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty Netty-Codec-Komprimierung 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty Netty-Resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-Klassen 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx Sammler 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktivierung 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction Transaktions-API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine Gurke 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.Schneeflocke snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr StringTemplate 3.2.1
org.apache.ant Ameise 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow Pfeilkomprimierung 18.3.0
org.apache.arrow Pfeilformat 18.3.0
org.apache.arrow arrow-memory-core 18.3.0
org.apache.arrow Arrow-Memory-Netty 18.3.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.3.0
org.apache.arrow Pfeil-Vektor 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-Text 1.14.0
org.apache.curator Kurator-Klient 5.9.0
org.apache.curator curator-framework 5.9.0
org.apache.curator Rezepte des Kurators 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derby 10.14.2.0
org.apache.hadoop Hadoop-Client-Laufzeit 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-Client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims Hive-Shims-Scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc ORC-Format 1.1.1-schattiert-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc Orc-Shims 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper Tierpfleger 3.9.4
org.apache.zookeeper zookeeper-jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty Jetty-Client 10.0.26
org.eclipse.jetty Jetty-HTTP 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty Jetty-Plus 10.0.26
org.eclipse.jetty Jetty-Proxy 10.0.26
org.eclipse.jetty Jetty-Sicherheit 10.0.26
org.eclipse.jetty Jetty Server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty Jetty-Util 10.0.26
org.eclipse.jetty Jetty-Webanwendung 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-Ortungssystem 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-neu verpackt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt Testoberfläche 1,0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest ScalaTest-kompatibel 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on