Freigeben über

Databricks Runtime 18.0 (Beta)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 18.0 (Beta).

Azure Databricks hat diese Version im Dezember 2025 veröffentlicht.

Von Bedeutung

Databricks Runtime 18.0 befindet sich in der Betaversion. Der Inhalt der unterstützten Umgebungen kann sich während der Betaversion ändern. Änderungen können die Liste der Pakete oder Versionen installierter Pakete enthalten.

Neue Features und Verbesserungen

SQL-Skripting ist jetzt allgemein verfügbar

Das SQL-Skripting-Feature ist jetzt allgemein verfügbar.

Redshift JDBC-Treiber aktualisiert auf 2.1.0.28

Der Redshift JDBC-Treiber wurde auf Version 2.1.0.28 aktualisiert.

Gemeinsam genutzte Isolations-Ausführungsumgebung für Unity Catalog Python UDFs

Unity Catalog Python UDFs mit demselben Besitzer können jetzt standardmäßig eine Isolationsumgebung teilen. Dies kann die Leistung verbessern und die Speicherauslastung verringern, indem die Anzahl separater Umgebungen reduziert wird, die gestartet werden müssen.

Um sicherzustellen, dass eine UDF immer in einer vollständig isolierten Umgebung ausgeführt wird, fügen Sie die STRICT ISOLATION Merkmalsklausel hinzu. Siehe Umgebungsisolation.

SQL-Fensterfunktionen in Metrikansichten

Sie können jetzt SQL-Fensterfunktionen in Metrikansichten verwenden, um laufende Summen, Rangfolgen und andere fensterbasierte Berechnungen zu berechnen.

Ordnungsgemäßes Herunterfahren für Spark-Anwendungen

Spark-Anwendungen unterstützen jetzt das ordnungsgemäße Herunterfahren, sodass laufende Aufgaben abgeschlossen werden können, bevor die Anwendung beendet wird.

Anpassung der dynamischen Shuffle-Partition in zustandslosen Streamingabfragen

Sie können jetzt die Anzahl der Shuffle-Partitionen in zustandslosen Streamingabfragen ändern, ohne die Abfrage neu zu starten.

Ausführung adaptiver Abfragen und automatisch optimierte Shuffles bei zustandslosen Streamingabfragen

Adaptive Abfrageausführung (Adaptive Query Execution, AQE) und automatisch optimiertes Shuffle (AOS) werden nun in zustandslosen Streamingabfragen unterstützt.

FILTER Klausel für Aggregatfunktionen in Metrikansichten

Sie können die FILTER-Klausel jetzt mit Measure-Aggregatfunktionen in Metrikansichten verwenden, um Filter pro Aggregat zu definieren, wenn Sie auf Metrikansichts-Messwerte verweisen.

Literale Zeichenfolgen, die überall zusammenwachsen

Die Fähigkeit, aufeinanderfolgende Zeichenfolgenliterale wie 'Hello' ' World' zu verketten, wurde von Ausdrücken auf alle Stellen erweitert, an denen Zeichenfolgenliterale erlaubt sind. Beispiel: COMMENT 'This' ' is a ' 'comment'. Details finden Sie STRING unter Typ .

Parametermarkierungen überall

Sie können nun benannte (:param) und unbenannte (?) Parametermarkierungen praktisch überall verwenden, an der ein Literalwert des entsprechenden Typs verwendet werden kann. Dies schließt Parametermarkierungen in DDL-Anweisungen wie zum Beispiel CREATE VIEW v AS SELECT ? AS c1, Spaltentypen DECIMAL(:p, :s) oder COMMENT ON t IS :comment ein. Mit dieser Möglichkeit können Sie eine vielzahl von SQL-Anweisungen parametrisieren, ohne Ihren Code für SQL-Einfügungsangriffe verfügbar zu machen. Details finden Sie unter Parametermarkierungen .

IDENTIFIER Klausel überall

Die Reichweite der IDENTIFIER-Klausel, die Zeichenfolgen in SQL-Objektnamen konvertiert, wurde auf nahezu alle Stellen erweitert, an denen ein Bezeichner zulässig ist. Zusammen mit den Verbesserungen für literale Zeichenfolgen, die eine Parametermarkierung zusammenfassen, können Sie jetzt alles von Spaltenaliasen (AS IDENTIFIER(:name)) bis zu Spaltendefinitionen (IDENTIFIER(:pk) BIGINT NOT NULL) parametrisieren. Ausführliche Informationen finden Sie unter IDENTIFIER Klausel.

Neue BITMAP_AND_AGG-Funktion

Die vorhandene Bibliothek der BITMAP Funktionen wurde mit einer neuen BITMAP_AND_AGG-Funktion abgerundet.

Neue KLL_Sketch Funktionsbibliothek

Sie können jetzt eine neue Bibliothek mit Funktionen verwenden, die KLL-Skizzen für die ungefähre Quantileberechnung erstellen:

Apache-Parkettbibliothek aktualisiert auf 1.16.0

Die Apache-Parkettbibliothek wurde auf Version 1.16.0 aktualisiert.

Verhaltensänderungen

JDK 21 ist jetzt das Standardmäßige Java Development Kit

Databricks Runtime 18.0 verwendet JDK 21 als Standard-Java Development Kit. JDK 21 ist eine long-term Support (LTS)-Version. Zuvor war der Standardwert JDK 17, der jetzt als Fallbackoption verfügbar ist.

Informationen zum Konfigurieren von JDK-Versionen für Ihre Cluster finden Sie unter Erstellen eines Clusters mit einer bestimmten JDK-Version.

FSCK REPAIR TABLE enthält standardmäßig metadatenreparatur

Der FSCK REPAIR TABLE Befehl enthält nun einen ersten Metadatenreparaturschritt, bevor nach fehlenden Datendateien gesucht wird. Der Befehl kann an Tabellen mit beschädigten Prüfpunkten oder ungültigen Partitionswerten arbeiten.

Nullierbarkeit für Array- und Map-Typen im Spark Connect Scala-Client beibehalten

Die Nullierbarkeit von Array- und Map-Typen wird jetzt bei typisierten Literalen im Spark Connect Scala-Client beibehalten. Zuvor waren Elemente von Arrays und Werten von Karten immer nullfähig.

FSCK REPAIR TABLE DRY RUN Ausgabeschema aktualisiert

Die dataFilePath Spalte im FSCK REPAIR TABLE DRY RUN Ausgabeschema ist jetzt nullfähig, um die Meldung neuer Problemtypen zu unterstützen, bei denen der Datendateipfad nicht anwendbar ist.

SHOW TABLES DROPPED respektiert die Klausel LIMIT

Der SHOW TABLES DROPPED Befehl berücksichtigt nun die LIMIT Klausel richtig.

Verteilungsfaktoren, die zwischen Lesevorgängen und automatisch optimierten Schreibvorgängen abgestimmt sind

Prorationsfaktoren für die Partitionsgröße verwenden jetzt Bruchwerte konsistent bei Lesevorgängen und automatisch optimierten Schreibvorgängen. Diese Änderung kann zu einer unterschiedlichen Anzahl von Aufgaben für Lesevorgänge führen.

Python UDF-Ausführung vereinheitlicht über PySpark und Unity Catalog

Unity Catalog Python UDFs verwenden jetzt Apache Arrow als Standard-Austauschformat, verbessern die Gesamtleistung und richten sich an das Verhalten von pfeiloptimierten Python-UDFs in Apache Spark. Im Rahmen dieser Änderung enthalten die an die Python-UDFs übergebenen Werte keine Zeitzoneninformationen mehr im TIMESTAMPdatetime-Attribut des Objekts. Die Zeitstempelwerte selbst verbleiben in UTC, aber die Metadaten der Zeitzone werden jetzt gelöscht.

Wenn Ihre UDF auf die Zeitzoneninformationen angewiesen ist, müssen Sie diese mit date = date.replace(tzinfo=timezone.utc) wiederherstellen. Weitere Informationen finden Sie unter Timestamp-Zeitzonenverhalten für Eingaben.

Verbesserte Fehlermeldungen für Probleme mit dem Kafka Connector-Anmeldemodul

Wenn Sie den Kafka-Connector mit einer nicht abgeschatteten Anmeldemodulklasse verwenden, stellt Azure Databricks jetzt Fehlermeldungen bereit, die die Verwendung des richtigen Präfixes der schattierten Klasse (kafkashaded.org.apache.kafka oder kafkashaded.software.amazon.msk.auth.iam) vorschlagen.

Zeitreiseeinschränkungen und VACUUM Aufbewahrungsverhalten

Azure Databricks blockiert jetzt Zeitreiseabfragen über den deletedFileRetentionDuration Schwellenwert für alle Tabellen hinaus. Der VACUUM Befehl ignoriert das Argument "Aufbewahrungsdauer", es sei denn, der Wert beträgt 0 Stunden. Sie können deletedFileRetentionDuration nicht größer als logRetentionDuration oder umgekehrt festlegen.

BinaryTypestandardmäßig in PySpark zugeordnet bytes

BinaryType wird jetzt konsistent mit Python bytes in PySpark verknüpft. Zuvor hat PySpark BinaryType abhängig vom Kontext entweder in bytes oder in bytearray abgebildet. Um das alte Verhalten wiederherzustellen, setzen Sie spark.sql.execution.pyspark.binaryAsBytes auf false fest.

NULL-Strukturen, die in Delta MERGE- UPDATEund Streaming-Schreibvorgängen beibehalten werden

NULL-Strukturen werden jetzt als NULL in Delta MERGE, UPDATE und Streaming-Schreibvorgängen beibehalten, die Strukturtyp-Umwandlungen enthalten. Zuvor wurden NULL-Strukturen auf Strukturierungen mit NULL-Feldern erweitert. Beispielsweise bleibt eine NULL-Struktur jetzt NULL, anstatt auf eine Struktur mit allen NULL-Feldwerten erweitert zu werden.

Materialisierte Partitionsspalten in Parquet-Dateien

Partitionierte Delta-Tabellen materialisieren jetzt Partitionsspalten in neu geschriebenen Parquet-Dateien. Zuvor wurden Partitionswerte in den Delta-Transaktionsprotokollmetadaten gespeichert und in Verzeichnispfaden wiedergegeben, aber nicht als Spalten in den Parkettdateien selbst geschrieben. Diese Änderung stimmt mit dem Verhalten von Apache Iceberg und UniForm überein und könnte sich auf Workloads auswirken, die direkt von Delta Lake geschriebene Parquet-Dateien lesen, da neugeschriebene Dateien zusätzliche Partitionsspalten enthalten.

Verbesserungen der Bibliothek

Aktualisierte Python-Bibliotheken:

  • anyio von 4.6.2 bis 4.7.0
  • asttokens von 2.0.5 bis 3.0.0.0
  • azure-core von 1.34.0 bis 1.36.0
  • Aktualisierung von azure-mgmt-core von Version 1.5.0 auf 1.6.0
  • azure-storage-blob von 12.23.0 bis 12.27.1
  • azure-storage-file-datalake von 12.17.0 bis 12.22.0
  • boto3 von 1.36.2 bis 1.40.45
  • Botocore von 1.36.3 bis 1.40.45
  • Zertifi von 31.01.2025 bis 26.04.2025
  • Klicken Sie von 8.1.7 auf 8.1.8
  • Kryptografie von 43.0.3 bis 44.0.1
  • Cython von 3.0.12 bis 3.1.5
  • databricks-sdk von 0.49.0 bis 0.67.0
  • Abgekündigt von 1.2.13 bis 1.2.18
  • executing von 0.8.3 auf 1.2.0
  • fastapi von 0.115.12 bis 0.121.0
  • google-api-core von 2.20.0 bis 2.28.1
  • google-auth von 2.40.0 bis 2.43.0
  • google-cloud-core von 2.4.3 bis 2.5.0
  • google-cloud-storage von 3.1.0 bis 3.5.0
  • h11 von 0.14.0 bis 0.16.0
  • httpcore von 1.0.2 bis 1.0.9
  • httpx von 0.27.0 bis 0.28.1
  • isodate von 0.6.1 bis 0.7.2
  • Jinja2 von 3.1.5 bis 3.1.6
  • jupyter-events von 0.10.0 bis 0.12.0
  • jupyter-lsp von 2.2.0 bis 2.2.5
  • jupyter_server von 2.14.1 bis 2.15.0
  • jupyter_server_terminals von 0.4.4 bis 0.5.3
  • mistune von 2.0.4 bis 3.1.2
  • mlflow-skinny von 3.0.1 bis 3.5.1
  • mmh3 von 5.1.0 bis 5.2.0
  • msal von 1.32.3 bis 1.34.0
  • nbclient von 0.8.0 bis 0.10.2
  • nbconvert von 7.16.4 auf 7.16.6
  • notebook_shim von 0.2.3 bis 0.2.4
  • opentelemetry-api von 1.32.1 bis 1.38.0
  • opentelemetry-sdk von 1.32.1 bis 1.38.0
  • opentelemetry-semantic-conventions von 0.53b1 bis 0.59b0
  • platformdirs von 3.10.0 bis 4.3.7
  • prometheus_client von 0.21.0 bis 0.21.1
  • psycopg2 von 2.9.3 auf 2.9.11
  • Pyarrow von 19.0.1 bis 21.0.0
  • Pygments von 2.15.1 bis 2.19.1
  • pyiceberg von 0.9.0 auf 0.10.0
  • python-lsp-server von 1.12.0 bis 1.12.2
  • Seil von 1.12.0 bis 1.13.0
  • s3transfer von 0.11.3 auf 0.14.0
  • scipy von 1.15.1 bis 1.15.3
  • setuptools von 74.0.0 bis 78.1.1
  • sechs von 1.16.0 bis 1.17.0
  • Stack-Data von 0.2.0 bis 0.6.3
  • starlette von 0.46.2 bis 0.49.3
  • Tornado von 6.4.2 bis 6.5.1
  • types-python-dateutil von 2.9.0.20241206 bis 2.9.0.20251008
  • uvicorn von 0.34.2 bis 0.38.0
  • Webcolors von 24.11.1 bis 25.10.0

Aktualisierte R-Bibliotheken:

  • Pfeil von 19.0.1 bis 22.0.0
  • Basis von 4.4.2 bis 4.5.1
  • bigD von 0.3.0 bis 0.3.1
  • broom von Version 1.0.7 auf 1.0.10
  • Uhr von 0.7.2 bis 0.7.3
  • Commonmark von 1.9.5 bis 2.0.0
  • Compiler von 4.4.2 bis 4.5.1
  • Anmeldeinformationen von 2.0.2 bis 2.0.3
  • curl von Version 6.4.0 auf Version 7.0.0
  • data.table von 1.17.0 bis 1.17.8
  • Datasets von 4.4.2 bis 4.5.1
  • dbplyr von 2.5.0 bis 2.5.1
  • devtools von 2.4.5 bis 2.4.6
  • diffobj von 0.3.5 bis 0.3.6
  • Digest von 0.6.37 bis 0.6.39
  • downlit von 0.4.4 auf 0.4.5
  • dtplyr von 1.3.1 bis 1.3.2
  • von 1.0.3 bis 1.0.5 auswerten
  • fansi von 1.0.6 bis 1.0.7
  • Forcats von 1.0.0 bis 1.0.1
  • fs von 1.6.5 bis 1.6.6
  • Zukunft von 1.34.0 bis 1.68.0
  • future.apply von 1.11.3 auf 1.20.0
  • gargle von 1.5.2 zu 1.6.0
  • gert von 2.1.4 bis 2.2.0
  • ggplot2 von 3.5.1 bis 4.0.1
  • gh von 1.4.1 bis 1.5.0
  • git2r von 0.35.0 bis 0.36.2
  • glmnet von 4.1-8 bis 4.1-10
  • googledrive von 2.1.1 bis 2.1.2
  • googlesheets4 von 1.1.1 bis 1.1.2
  • Grafiken von 4.4.2 bis 4.5.1
  • grDevices von 4.4.2 bis 4.5.1
  • Raster von 4.4.2 bis 4.5.1
  • Aktualisierung von gt von Version 0.11.1 auf 1.1.0
  • hardhat von Version 1.4.1 auf Version 1.4.2
  • haven von Version 2.5.4 bis 2.5.5
  • hms von 1.1.3 bis 1.1.4
  • httpuv von 1.6.15 bis 1.6.16
  • httr2 Version 1.1.1 bis Version 1.2.1
  • jsonlite von 1.9.1 bis 2.0.0
  • später von 1.4.1 auf 1.4.4
  • Lava von 1.8.1 bis 1.8.2
  • listenv Update von Version 0.9.1 auf Version 0.10.0
  • magrittr von 2.0.3 bis 2.0.4
  • Markdown von 1.13 bis 2.0
  • Methoden von 4.4.2 bis 4.5.1
  • miniUI von 0.1.1.1 bis 0.1.2
  • mlflow Versionen von 2.20.4 bis 3.6.0
  • openssl von Version 2.3.3 auf Version 2.3.4 aktualisieren
  • parallel von 4.4.2 bis 4.5.1
  • parallel von 1.42.0 bis 1.45.1
  • Säule von 1.11.0 bis 1.11.1
  • pkgbuild von 1.4.6 auf 1.4.8
  • Aktualisieren von pkgdown von 2.1.1 auf 2.2.0
  • pkgload von 1.4.0 auf 1.4.1
  • pROC von 1.18.5 bis 1.19.0.1
  • prodlim von 2024.06.25 bis 2025.04.28
  • Aktualisierung progressr von Version 0.15.1 auf Version 0.18.0
  • Zusagen von 1.3.2 bis 1.5.0
  • PostScript von 1.9.0 bis 1.9.1
  • purrr von 1.0.4 auf 1.2.0 aktualisieren
  • Ragg von 1.3.3 bis 1.5.0
  • Rcpp von 1.0.14 bis 1.1.0
  • Readr von Version 2.1.5 bis Version 2.1.6
  • Rezepte von 1.2.0 bis 1.3.1
  • reshape2 von 1.4.4 zu 1.4.5
  • rmarkdown von 2.29 bis 2.30
  • roxygen2 von 7.3.2 bis 7.3.3
  • rprojroot von 2.0.4 bis 2.1.1
  • RSQLite von 2.3.9 bis 2.4.4
  • rversions von 2.1.2 auf 3.0.0
  • rvest von 1.0.4 auf 1.0.5
  • sass von Version 0.4.9 auf Version 0.4.10
  • skaliert von 1,3,0 auf 1,4.0
  • Shiny von 1.10.0 bis 1.11.1
  • sparklyr von 1.9.1 bis 1.9.3
  • SparkR von 4.0.0 bis 4.1.0
  • sparsevctrs von 0.3.1 bis 0.3.4
  • Splines von 4.4.2 bis 4.5.1
  • Statistiken von 4.4.2 bis 4.5.1
  • stats4 von 4.4.2 bis 4.5.1
  • stringr von Version 1.5.1 bis Version 1.6.0
  • systemfonts von 1.2.1 bis 1.3.1
  • tcltk von 4.4.2 auf 4.5.1
  • Testthat von 3.2.3 bis 3.3.0
  • Textgestaltung von 1.0.0 bis 1.0.4
  • timeDate von 4041.110 bis 4051.111
  • Tinytex von 0,56 bis 0,58
  • Tools von 4.4.2 bis 4.5.1
  • usethis von 3.1.0 auf 3.2.1
  • utils von Version 4.4.2 auf Version 4.5.1
  • V8 von 6.0.2 bis 8.0.1
  • vroom von 1.6.5 bis 1.6.6
  • waldo von 0.6.1 bis 0.6.2
  • xfun von 0,51 bis 0,54
  • xml2 von 1.3.8 bis 1.5.0
  • zeallot von 0.1.0 bis 0.2.0
  • zip von 2.3.2 auf 2.3.3

Aktualisierte Java-Bibliotheken:

  • com.amazonaws.amazon-kinesis-client aktualisiert von 1.12.0 auf 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-config von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-core von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-sql-scriptdatapipeline von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-directory von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ecs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-efs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-emr von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-glacier von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-glue von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-iam von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-importexport von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-kms von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-lambda von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-logs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-rds von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-redshift von 1.12.638 auf 1.12.681
  • com.amazonaws.aws-java-sdk-route53 von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-s3 von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ses von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-sns von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-sqs von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-ssm von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-sts von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-support von 1.12.638 bis 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces von Version 1.12.638 bis Version 1.12.681
  • com.amazonaws.jmespath-java von 1.12.638 bis 1.12.681
  • com.databricks.databricks-sdk-java von 0.27.0 bis 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 von 2.18.2 bis 2.18.3
  • com.github.luben.zstd-jni von 1.5.6-10 bis 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java von 24.3.25 bis 25.2.10
  • com.google.guava.failureaccess von 1.0.2 bis 1.0.3
  • com.google.guava.guava.guava from 33.4.0-jre to 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc von 11.2.3.jre8 bis 12.8.0.jre8
  • commons-cli.commons-cli von 1.9.0 bis 1.10.0
  • commons-codec.commons-codec von 1.17.2 bis 1.19.0
  • commons-fileupload.commons-fileupload von 1.5 auf 1.6.0
  • commons-io.commons-io von 2.18.0 bis 2.21.0
  • dev.ludovic.netlib.arpack von 3.0.3 bis 3.0.4
  • dev.ludovic.netlib.blas von 3.0.3 bis 3.0.4
  • dev.ludovic.netlib.lapack von 3.0.3 bis 3.0.4
  • io.delta.delta-sharing-client_2.13 von 1.3.5 bis 1.3.6
  • io.dropwizard.metrics.metrics-annotation von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-core von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-graphite von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics-jmx von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-json von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-jvm von 4.2.30 bis 4.2.37
  • io.dropwizard.metrics.metrics-servlets von 4.2.30 bis 4.2.37
  • io.netty.netty-all von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-buffer von 4.1.118.Final auf 4.2.7.Final
  • Aktualisierung von io.netty.netty-codec von 4.1.118.Final auf 4.2.7.Final
  • io.netty.netty-codec-http von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-codec-http2 von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-codec-socks von 4.1.118.Final auf 4.2.7.Final
  • io.netty.netty-common von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-handler von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-handler-proxy von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-resolver von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static von 2.0.70.Final-db-r0-windows-x86_64 bis 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes von 2.0.70.Final auf 2.0.74.Final
  • io.netty.netty-transport Version von 4.1.118.Final auf 4.2.7.Final aktualisiert
  • io.netty.netty-transport-classes-epoll von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue von 4.1.118.Final bis 4.2.7.Final
  • io.netty.netty-transport-native-epoll von 4.1.118.Final-linux-x86_64 auf 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue von 4.1.118.Final-osx-x86_64 zu 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common von 4.1.118.Final bis 4.2.7.Final
  • joda-time.joda-time von 2.13.0 bis 2.14.0
  • org.apache.arrow.arrow-format von Version 18.2.0 bis Version 18.3.0
  • org.apache.arrow.arrow-memory-core von 18.2.0 bis 18.3.0
  • org.apache.arrow.arrow-memory-netty von 18.2.0 bis 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch von 18.2.0 auf 18.3.0
  • org.apache.arrow.arrow-vector von 18.2.0 bis 18.3.0
  • org.apache.avro.avro von 1.12.0 zu 1.12.1
  • org.apache.avro.avro-ipc von 1.12.0 auf 1.12.1
  • org.apache.avro.avro-mapred von Version 1.12.0 zu Version 1.12.1
  • org.apache.commons.commons-collections4 von 4.4 bis 4.5.0
  • org.apache.commons.commons-compress von 1.27.1 auf 1.28.0
  • org.apache.commons.commons-lang3 von 3.17.0 bis 3.19.0
  • org.apache.commons.commons-text von 1.13.0 bis 1.14.0
  • org.apache.curator.curator-client von 5.7.1 bis 5.9.0
  • org.apache.curator.curator-framework von 5.7.1 bis 5.9.0
  • org.apache.curator.curator-recipes von 5.7.1 bis 5.9.0
  • org.apache.datasketches.datasketches-java von 6.1.1 bis 6.2.0
  • org.apache.hadoop.hadoop-client-runtime von 3.4.1 auf 3.4.2
  • org.apache.orc.orc-core von 2.1.1-shaded-protobuf bis 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format von 1.1.0-shaded-protobuf zu 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce from 2.1.1-shaded-protobuf to 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims von Version 2.1.1 auf Version 2.2.0
  • org.apache.xbean.xbean-asm9-shaded von 4.26 bis 4.28
  • org.apache.zookeeper.zookeeper aktualisiert von 3.9.3 auf 3.9.4
  • org.apache.zookeeper.zookeeper-jute von 3.9.3 bis 3.9.4
  • org.eclipse.jetty.jetty-client von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-http von 9.4.53.v20231009 bis 10.0.26
  • Aktualisierung von org.eclipse.jetty.jetty-io von 9.4.53.v20231009 auf 10.0.26
  • org.eclipse.jetty.jetty-jndi von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-plus von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-proxy von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-security von 9.4.53.v20231009 auf 10.0.26
  • org.eclipse.jetty.jetty-server von 9.4.53.v20231009 auf 10.0.26
  • org.eclipse.jetty.jetty-servlet von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-servlets von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-util von 9.4.53.v20231009 bis 10.0.26
  • org.eclipse.jetty.jetty-webapp von Version 9.4.53.v20231009 auf Version 10.0.26
  • org.eclipse.jetty.jetty-xml von 9.4.53.v20231009 bis 10.0.26
  • org.mlflow.mlflow-spark_2.13 von 2.9.1 bis 2.22.1
  • org.objenesis.objenesis zwischen 3.3 und 3.4
  • org.scala-lang.modules.scala-xml_2.13 von 2.3.0 bis 2.4.0

Apache Spark

Databricks Runtime 18.0 (Beta) umfasst Apache Spark 4.0.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in der vorherigen Version enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • SPARK-54536 Shuffle FetchWaitTime fehlende Berechnung der Client-/Wartezeitenkosten.
  • SPARK-54534 Migration von Hive-bezogenen Legacyfehlercodes zu korrekten Fehlerbedingungen
  • SPARK-54565 SparkBuildInfo sollte aus einem eigenen Klassenladeprogramm geladen spark-version-info.properties werden.
  • SPARK-54533 Festlegen der Metrik ExecutorSource.METRIC_RESULT_SIZE mit dem richtigen Wert
  • SPARK-54478 Streaming-Tests für die Connect-Kompatibilitäts-Test-CI wieder aktivieren
  • SPARK-54552 Fix SparkConnectResultSet.getString um den BINÄR-Datentyp zu verarbeiten mit UTF_8
  • SPARK-54501 Verbesserte Fehlerbehandlung bei Partition Filterfehlern im Hive-Metastore
  • SPARK-54550 - SPARK-54550ConnectException ordnungsgemäß behandeln in SparkConnectStatement.close()
  • SPARK-54020 Unterstützen der spark.sql(...) Python-API in Abfragefunktionen für Spark Declarative Pipeline
  • SPARK-53127 Behebung LIMIT ALLES für unendliche Rekursion mit CTE-Normalisierung
  • SPARK-50072 Behandeln von ArithmeticException beim Intervall-Parsing mit großen Werten
  • SPARK-54299 Beheben der falschen Beispielabfrage in WindowGroupLimit
  • SPARK-54505 Korrigieren der Argumentreihenfolge des createMetrics-Aufrufs in makeNegative
  • SPARK-54462 Füge SupportsV1OverwriteWithSaveAsTable Mixin für TableProvider hinzu
  • SPARK-54540 Ein paar kleinere Korrekturen für den Connect-JDBC-Treiber
  • SPARK-54508 Verbesserung spark-pipelines, um den Dateipfad spec robuster aufzulösen
  • SPARK-54087 Spark Executor Startaufgabe fehlgeschlagen sollte die Nachricht 'Task abgebrochen' zurückgeben.
  • SPARK-53797 Korrektur zur Anpassung der Nutzung vonFileStreamSource.takeFilesUntilMax, um den Gebrauch von zipWithIndex zu vermeiden
  • SPARK-54418 Beheben von Fehlermeldungen und Codeformatierung
  • SPARK-54114 Unterstützung von getColumns für SparkConnectDatabaseMetaData
  • SPARK-54209 Unterstützung des TIMESTAMP-Typs in SparkConnectResultSet
  • SPARK-54208 Unterstützen des TIME-Typs in SparkConnectResultSet
  • SPARK-54528 Schließen Sie URLClassLoader, um OOM zu vermeiden
  • SPARK-54464 Entfernen doppelter output.reserve Aufrufe in assembleVariantBatch
  • SPARK-53635 Unterstützung von Scala-UDFs mit Eingabeargumenten des Typs Seq[Row]
  • SPARK-54493 Korrigieren von assertSchemaEqual für MapType
  • SPARK-52515 Testen von approx_top_k mit aktivierter und deaktivierter Kennzeichnung
  • SPARK-54413 Aktualisieren von Bootstrap v4.4.1 auf v4.6.2
  • SPARK-54497 Caching im Konverter anwenden
  • SPARK-54306 Annotieren von Variant-Spalten mit logischer Variant-Typanmerkung
  • SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION sollte 1-basiert sein
  • SPARK-54130 Hinzufügen detaillierter Fehlermeldungen für Katalog assertionsfehler
  • SPARK-54220 NullType/VOID/UNKNOWN Type Support in Parkett
  • SPARK-54163 Scannen der Kanonisierung für Partitionierungs- und Sortierungsinformationen
  • SPARK-54377 Korrigieren von COMMENT ONTABLE IS NULL zum ordnungsgemäßen Entfernen eines Tabellenkommentars
  • SPARK-52767 Optimieren von maxRows und maxRowsPerPartition für join und union
  • SPARK-54063 Snapshot für den nächsten Batch auslösen, wenn der Upload-Verzug besteht.
  • SPARK-54384 Modernisieren der _batched-Methode für BatchedSerializer
  • SPARK-54378CreateXmlParser.scala aus catalyst Modul entfernen
  • SPARK-53103 Revert "[SC-204946][ss] Einen Fehler auslösen, wenn das Statusverzeichnis beim Start der Abfrage nicht leer ist"
  • SPARK-53103 Auslösen eines Fehlers, wenn das Statusverzeichnis beim Starten der Abfrage nicht leer ist
  • SPARK-54397 Machen Sie UserDefinedType hashbar
  • SPARK-54440 Geben Sie der Standardpipelinespezifikationsdatei einen idiomatischen Namen, spark-pipeline.yml
  • SPARK-54324 Hinzufügen von Test für Clientbenutzerkontexterweiterungen
  • SPARK-54456 Importieren des Arbeitermoduls nach dem Fork, um eine Blockierung zu vermeiden
  • SPARK-54427 Erlaube, dass ColumnarRow copy mit verschiedenen Typen aufrufen kann
  • SPARK-54136 Extrahieren der Planzusammenführungslogik von MergeScalarSubqueries zu PlanMerger
  • SPARK-54389 Behebung des Fehlercodes "Ungültiger Stempel" im RocksDB-Statusspeicher, wenn die Aufgabe während der Initialisierung als fehlgeschlagen markiert wird.
  • SPARK-54346 Einführung der Zustands-Neupartitions-API und neupartitionierungsläufer
  • SPARK-53809 Hinzufügen von Kanonisierung für DataSourceV2ScanRelation
  • SPARK-54280 Erfordert, dass das Pipeline-Checkpoint-Speicherverzeichnis ein absoluter Pfad ist
  • SPARK-54206 Unterstützung von BINARY-Typdaten in SparkConnectResultSet
  • SPARK-54319 BHJ LeftAnti aktualisiert numOutputRows falsch, wenn Codegen deaktiviert ist
  • SPARK-54355 Implementierung zur Unterstützung spark.connect.session.planCompression.defaultAlgorithm
  • SPARK-54341 Denken Sie an TimeTravelSpec für Tabellen, die über TableProvider geladen wurden.
  • SPARK-54280 Rückgängig machen von "[SC-212148][sdp] Erfordernis, dass das Pipeline-Checkpoint-Speicherverzeichnis ein absoluter Pfad ist"
  • SPARK-54354 Behebung des Spark-Hängens, wenn nicht genügend JVM-Heap-Speicher für Broadcast-Hash-Relationen vorhanden ist.
  • SPARK-54439 KeyGroupedPartitioning und Größenunterschied der Verknüpfungsschlüssel
  • SPARK-54280 Erfordert, dass das Pipeline-Checkpoint-Speicherverzeichnis ein absoluter Pfad ist
  • SPARK-54395 RemoteBlockPushResolver-Klasse initialisiert ObjectMapper wiederholt
  • SPARK-54207 Unterstützt Datumstypdaten in SparkConnectResultSet
  • SPARK-54182 Optimieren der Nichtpfeilkonvertierung von df.toPandas
  • SPARK-54312 Vermeiden Sie die wiederholte Planung von Aufgaben für SendHeartbeat/WorkDirClean in einem eigenständigen Worker.
  • SPARK-54394 Verschieben isJavaVersionAtMost17 und isJavaVersionAtLeast21 von core nach common/utils
  • SPARK-53927 Aktualisiere Kinesis-Client
  • SPARK-54358 Prüfpunkt-Dirs kollidieren, wenn Streamingtabellen in verschiedenen Schemas denselben Namen haben
  • SPARK-54310 Rückgängig machen "[SC-212003][sql] Eine Metrik hinzufügen für numSourceRows"
  • SPARK-54310 Metrik numSourceRows hinzufügen für MergeIntoExec
  • SPARK-53322 Wählen Sie eine KeyGroupedShuffleSpec nur aus, wenn Verknüpfungstastenpositionen vollständig gedrückt werden können.
  • SPARK-54270 SparkConnectResultSet get*-Methoden sollten checkOpen aufrufen und die Indexgrenze überprüfen
  • SPARK-53849 Update von Netty und netty tc native
  • SPARK-54205 Unterstützt Dezimaltypdaten in SparkConnectResultSet
  • SPARK-54417 Beheben der Fehlermeldung für skalare Unterabfrage in IDENTIFIER Klausel
  • SPARK-54113 Unterstützung von getTables für SparkConnectDatabaseMetaData
  • SPARK-54303 Kanonisierung der Fehlerbedingung MISSING_CATALOG_ABILITY
  • SPARK-54153 Unterstützung von iteratorbasierten Profilierung in Python-UDFs
  • SPARK-54349 Umgestalten von Code ein bisschen zur Vereinfachung der Fehlerhandlerintegrationserweiterung
  • SPARK-54317 Vereinheitlichen der Pfeilkonvertierungslogik für Classic und Connect toPandas
  • SPARK-54339 AttributMap-Nicht-Determinismus korrigieren
  • SPARK-54112 Unterstützung von getSchemas für SparkConnectDatabaseMetaData
  • SPARK-54180 Überschreiben der toString-Methode von BinaryFileFormat
  • SPARK-54213 Entfernen von Python 3.9 aus Spark Connect
  • SPARK-54215 Hinzufügen der Eigenschaft "SessionStateHelper" zu "FilePartition"
  • SPARK-54115 Erhöhen der Anzeigereihenfolgepriorität der Verbindungsserver-Operationsthreads auf der Thread-Dump-Seite
  • SPARK-54193 Abgekündigt: spark.shuffle.server.finalizeShuffleMergeThreadsPercent
  • SPARK-54149 Tail-Rekursion nach Möglichkeit aktivieren
  • SPARK-54185 Veraltet: spark.shuffle.server.chunkFetchHandlerThreadsPercent
  • SPARK-54056 Auflösen der Ersetzung von SQLConf-Einstellungen in Katalogen
  • SPARK-54147 OMP_NUM_THREADS standardmäßig auf spark.task.cpus in BaseScriptTransformationExec setzen
  • SPARK-54229 Der PySparkLogger in UDFs speichert einen Protokolleintrag pro Aufruf der Protokollfunktion
  • SPARK-53337 XSS: Sicherstellen, dass der Anwendungsname auf der Historie escapet wird
  • SPARK-54229 Rückgängig machen "[SC-211321][python] Make PySparkLogger in UDFs store one log entry per log function call"
  • SPARK-54373 Vergrößern des SVG-ViewBox-Attributs der Job-DAG-Initialisierung
  • SPARK-54323 Ändern der Methode für den Zugriff auf Protokolle auf TVF anstelle der Systemansicht
  • SPARK-54229 Der PySparkLogger in UDFs speichert einen Protokolleintrag pro Aufruf der Protokollfunktion
  • SPARK-53978 Unterstützung der Protokollierung bei treiberseitigen Mitarbeitern
  • SPARK-54146 Bereinigung der Verwendung der veralteten Jackson-API
  • SPARK-54383 Hinzufügen einer vorkompilierten Schemavariante für InternalRowComparableWrapper util
  • SPARK-54030 Hinzufügen einer benutzerfreundlichen Assertionsmeldung zum Anzeigen von Metadatenbeschädigung
  • SPARK-54144 Kurzschlussauswertungstyp-Inferenzen
  • SPARK-54030 Rückgängig machen "[SC-210301][sql] Hinzufügen einer benutzerfreundlichen Assertionsnachricht für die Ansicht von Metadatenbeschädigungen"
  • SPARK-54028 Ein leeres Schema verwenden, wenn eine Ansicht geändert wird, die nicht Hive-kompatibel ist
  • SPARK-54030 Hinzufügen einer benutzerfreundlichen Assertionsmeldung zum Anzeigen von Metadatenbeschädigung
  • SPARK-54085 Fix initialize zum Hinzufügen CREATE der Option zusätzlich in DriverRunner
  • SPARK-53482MERGE INTO Unterstützung, wenn die Quelle weniger geschachtelte Felder als das Ziel enthält
  • SPARK-53905 Umgestalten von RelationResolution zum Aktivieren der Codewiederverwendung
  • SPARK-53732 TimeTravelSpec in DataSourceV2Relation speichern
  • SPARK-54014 Maximale Zeilenunterstützung für SparkConnectStatement
  • SPARK-50906 Korrigieren der Avro-Null-Werte-Prüfung für neu geordnete Strukturfelder
  • SPARK-54396 Optimieren von Py4J-Aufrufen in Dataframe.toArrow
  • SPARK-54344 Den Mitarbeiter töten, wenn die Löschung in daemon.py fehlschlägt
  • SPARK-53977 Unterstützung des Loggings in UDTFs
  • SPARK-52515 Erneut anwenden "[SC-199815][sql] Funktion approx_top_k hinzufügen"
  • SPARK-54340 Hinzufügen der Funktion zur Verwendung von Viztracer für pyspark daemon/workers
  • SPARK-54379 Verschieben der Lambda-Bindung in ein separates LambdaBinder Objekt
  • SPARK-54029 Detaillierte Fehlermeldung für Tabellenmetadatenbeschädigung hinzufügen, um das Debuggen zu vereinfachen
  • SPARK-54002 Unterstützung bei der Integration von BeeLine mit dem Connect JDBC-Treiber
  • SPARK-54336 Korrigieren der BloomFilterMightContain Eingabetypüberprüfung mit ScalarSubqueryReference
  • SPARK-53406 Vermeiden Sie unnötige Shuffle-Joins im direkten Passthrough-Shuffle-ID.
  • SPARK-54347 Optimieren von Py4J-Aufrufen im klassischen Dataframe
  • SPARK-54062 MergeScalarSubqueries-Codebereinigung
  • SPARK-54054 Unterstützungszeilenposition für SparkConnectResultSet
  • SPARK-54330 Optimieren von Py4J-Anrufen in spark.createDataFrame
  • SPARK-54332 Keine Notwendigkeit, PlanId beim Gruppieren von Spaltennamen in rollup/cube/groupingSets anzufügen
  • SPARK-53976 Unterstützung der Protokollierung in Pandas/Arrow-UDFs
  • SPARK-54123 Fügen Sie Zeitzone hinzu, um den Zeitstempel zu einem absoluten Zeitstempel zu machen.
  • SPARK-54356 Beheben von EndToEndAPISuite verursacht durch fehlendes Speicherstammschema
  • SPARK-54292 Unterstützung von Aggregatfunktionen und GROUP BY in |>SELECT Rohr-Operatoren (#180106) (#180368)
  • SPARK-54376 Markieren der meisten Pipelinekonfigurationsoptionen als intern
  • SPARK-53975 Fügt grundlegende Unterstützung für die Python-Workerprotokollierung hinzu.
  • SPARK-54361 Anpassen der Spark-Version auf den beabsichtigten Wert 4.2.0 für spark.sql.parser.singleCharacterPipeOperator.enabled
  • SPARK-51518 Support | als Alternative zu |> für das SQL-Pipe-Operator-Token
  • SPARK-53535 Beheben fehlender Strukturen, die immer als NULL-Werte angenommen werden
  • SPARK-54294 Normalisieren der gedruckten IP-Adresse des Connect-Servers
  • SPARK-52439 Support-Check-Einschränkung mit NULL-Wert
  • SPARK-54352 führt SQLConf.canonicalize ein, um die Normalisierung von Strings zu zentralisieren.
  • SPARK-54183 Revert Revert "[SC-211824][python][CONNECT] Vermeiden Sie einen temporären Zwischendatenframe während der Spark connect toPandas()".
  • SPARK-53573IDENTIFIER überall
  • SPARK-53573 Zusammenführen von Zeichenfolgenliteralen überall zulassen
  • SPARK-54240 Übersetzen eines Arrayelementkatalysatorausdrucks in Verbinderausdruck
  • SPARK-54334 Überprüfung von Unterabfrageausdrücken unter Lambda- und höherwertigen Funktionen verschieben in SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
  • SPARK-54183 Rückgängig machen "[SC-211824][python][CONNECT] Vermeiden Sie einen temporären Zwischendatenframe während Spark connect toPandas()".
  • SPARK-54183 Vermeidung eines temporären zwischendatenframes während der Spark-Verbindung mit Pandas()
  • SPARK-54264 Der DeDup-Operator kann rocksDB's keyExists() verwenden.
  • SPARK-54269 Upgrade cloudpickle auf 3.1.2 für Python 3.14
  • SPARK-54300 Optimieren von Py4J-Anrufen in df.toPandas
  • SPARK-54307 Es wird ein Fehler ausgelöst, wenn die Streamingabfrage mit einem zustandsbehafteten Vorgang neu gestartet wird, es aber ein leeres Zustandsverzeichnis gibt.
  • SPARK-54117 Lösen Sie einen besseren Fehler aus, um anzugeben, dass TWS nur vom RocksDB-Statusspeicheranbieter unterstützt wird.
  • SPARK-53917 Unterstützung großer lokaler Relationen - Nachverfolgungen
  • SPARK-54275 Bereinigen nicht verwendeter Code aus pipeline Modul
  • SPARK-54287 Hinzufügen der Python 3.14-Unterstützung in pyspark-client und pyspark-connect
  • SPARK-53614 Hinzufügen von Iterator[pandas.DataFrame] Support zu applyInPandas
  • SPARK-54191 Einmaliges Hinzufügen zum Defineflow Proto
  • SPARK-54234 PlanId muss nicht in den Gruppierungsspaltennamen in "df.groupBy" angefügt werden.
  • SPARK-54231 Füllen von Lücken in SDP-Dokumenten
  • SPARK-54199 Hinzufügen der DataFrame-API-Unterstützung für neue KLL-Quantiles-Skizzenfunktionen (#178526)
  • SPARK-52463 Reapply "[SC-211221][sdp] Add support for cluster_by in Python Pipelines APIs"
  • SPARK-52463 Zurücksetzen "[SC-211221][sdp] Hinzufügen von Unterstützung für cluster_by in Python Pipelines-APIs"
  • SPARK-53786 Der Standardwert mit dem speziellen Spaltennamen sollte nicht mit einer echten Spalte in Konflikt geraten.
  • SPARK-54200 Aktualisierung der KafkaConsumerPoolRealTimeModeSuite zur Verwendung des groupIdPrefix für die Sicherheit bei gleichzeitigen Ausführungen.
  • SPARK-52463 Hinzufügen von Unterstützung für cluster_by in Python Pipelines-APIs
  • SPARK-52509 Bereinigen einzelner Shuffles aus dem Ausweichspeicher bei RemoveShuffle-Ereignis
  • SPARK-54187 Wiedereinführung von "[SC-211150][python][CONNECT] Abrufen aller Konfigurationen stapelweise mit toPandas"
  • SPARK-53942 Unterstützung beim Ändern von zustandslosen Shuffle-Partitionen beim Neustart der Streamingabfrage
  • SPARK-52515 Wiederherstellen von "[SC-199815][sql] Hinzufügen approx_top_k Funktion"
  • SPARK-52515 Funktion approx_top_k hinzufügen
  • SPARK-54078 Neuer Test für StateStoreSuite SPARK-40492: maintenance before unload und Entfernen von Infra aus dem alten Test
  • SPARK-54178 Verbessern des Fehlers für ResolveSQLOnFile
  • SPARK-53455 RPC hinzufügen CloneSession
  • SPARK-54178 Zurücksetzen von "[SC-211111][sql] Verbesserung der Fehlermeldung für ResolveSQLOnFile"
  • SPARK-53489 Entfernen der Verwendung von v2ColumnsToStructType in ApplyDefaultCollationToStringType
  • SPARK-54178 Verbessern des Fehlers für ResolveSQLOnFile
  • SPARK-54187 Rückgängigmachen von "[SC-211150][python][CONNECT] Abrufen aller Konfigurationen in einem Batch in toPandas"
  • SPARK-53942 "[SC-209873][ss] Unterstützt das Ändern von zustandslosen Shuffle-Partitionen während des Neustarts einer Streaming-Abfrage"
  • SPARK-54187 Abrufen aller Konfigurationen in einer Charge in toPandas
  • SPARK-54145 Korrektur der Überprüfung von Spalten mit geschachtelten Typen in numerischen Aggregationen
  • SPARK-53942 Unterstützung beim Ändern von zustandslosen Shuffle-Partitionen beim Neustart der Streamingabfrage
  • SPARK-53991 Hinzufügen der SQL-Unterstützung für KLL-Quantiles-Funktionen basierend auf DataSketches (#178089) (#178234)
  • SPARK-53128 Schließen Sie nicht verwaltete Speicherbytes in das Verwendungsprotokoll ein, bevor Sie das OOM des Ausführungsspeichers ausführen.
  • SPARK-53731 Aktualisieren der Typenhinweise von Iterator-APIs
  • SPARK-53967 Vermeidung der Erzeugung von Pandas-DataFrames in df.toPandas
  • SPARK-53455 "[SC-208758][connect] RPC hinzufügen CloneSession " zurücksetzen
  • SPARK-54108 Execute*-Methoden von SparkConnectStatement überarbeiten
  • SPARK-54052 Hinzufügen eines Brückenobjekts zur Problemumgehung der Py4J-Einschränkung
  • SPARK-54128 Konvertieren von IllegalArgumentException in SparkException mit ordnungsgemäßen Fehlerklassen auf Spark Connect-Server
  • SPARK-53880 Behebung von DSv2 in PushVariantIntoScan durch das Hinzufügen von SupportsPushDownVariants
  • SPARK-54111 Unterstützung getCatalogs für SparkConnectDatabaseMetaData
  • SPARK-53455 RPC hinzufügen CloneSession
  • SPARK-54118 Verbessern des Put/Merge-Vorgangs in ListState, wenn mehrere Werte vorhanden sind
  • SPARK-54038 Unterstützung von getSQLKeywords für SparkConnectDatabaseMetaData
  • SPARK-54013 Implementieren einfacher Methoden für SparkConnectDatabaseMetaData
  • SPARK-53934 Erste Implementierung Connect-JDBC-Treiber
  • SPARK-53959 Auslösen eines clientseitigen Fehlers beim Erstellen eines Datenframes aus einem Pandas-Datenframe mit einem Index, jedoch ohne Daten
  • SPARK-53573 Rückgängig machen von "[SC-210255][sql] Ermöglicht die Zusammenführung von Zeichenfolgenliteralen überall"
  • SPARK-54094 Extrahieren allgemeiner Methoden in KafkaOffsetReaderBase
  • SPARK-53573 Zusammenführen von Zeichenfolgenliteralen überall zulassen
  • SPARK-54039 Hinzufügen von TaskContext-Informationen zu KafkaDataConsumer release()-Protokollen zum besseren Debuggen
  • SPARK-54031 Hinzufügen neuer goldener Dateitests für Analyse-Edgefälle
  • SPARK-54067 VerbesserungSparkSubmit, um exitFn mit der eigentlichen Ursache anstelle von SparkUserAppException zu verwenden.
  • SPARK-54047 Verwenden eines Unterschiedsfehlers beim Kill-on-Idle-Timeout
  • SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
  • SPARK-54061 IllegalArgumentException mit einem geeigneten Fehlercode für ungültige Datumszeit-Muster umhüllen
  • SPARK-54031 Wiederherstellen von "[SC-210084][sql] Hinzufügen neuer goldener Dateitests für Analyse-Edgefälle"
  • SPARK-54075 Auswertbar machen ResolvedCollation
  • SPARK-54001 Optimierung der Speicherauslastung beim Klonen von Sitzungen mit referenzgezählten zwischengespeicherten lokalen Verbindungen
  • SPARK-54031 Hinzufügen neuer goldener Dateitests für Analyse-Edgefälle
  • SPARK-53923 Umbenennen spark.executor.(log -> logs).redirectConsoleOutputs
  • SPARK-54007 Verwenden von Java Set.of anstelle von Collections.emptySet
  • SPARK-53755 Hinzufügen der Protokollunterstützung in BlockManager
  • SPARK-54041 Validierung der ParameterizedQuery-Argumente refaktorisieren
  • SPARK-53696 Standardmäßig auf Bytes für BinaryType in PySpark setzen
  • SPARK-53921 Einführung von GeometryType und GeographyType zur PySpark-API
  • SPARK-53788 VersionUtils in common Modul verschieben
  • SPARK-53999 Native KQueue Transport-Unterstützung auf BSD/MacOS
  • SPARK-54021 Implementieren von Geography- und Geometry-Accessoren über Katalysator hinweg
  • SPARK-53921 Wiederherstellen von "[SC-209482][geo][PYTHON] Einführung von GeometryType und GeographyType zur PySpark-API"
  • SPARK-53920 Einführung von GeometryType und GeographyType zur Java-API
  • SPARK-53610 Begrenzung der Arrow-Batchgrößen in CoGrouped applyInPandas und applyInArrow
  • SPARK-53659 Infer Variant-Zerkleinerungsschema beim Schreiben in Parkett
  • SPARK-53922 Einführen physischer Geometrie- und Geografietypen
  • SPARK-54059 Verringern der Standardseitengröße um LONG_ARRAY_OFFSET, wenn ZGC oder ShenandoahGC und ON_HEAP verwendet werden
  • SPARK-53921 Einführung von GeometryType und GeographyType zur PySpark-API
  • SPARK-54048 Update dev/requirements.txt zur Installation torch(vision) in Python 3.14
  • SPARK-53917 Unterstützung großer lokaler Beziehungen
  • SPARK-53760 Einführung in GeometryType und GeographyType
  • SPARK-53530 Bereinigen des nutzlosen Codes im Zusammenhang mit TransformWithStateInPySparkStateServer
  • SPARK-53636 Beheben von Threadsicherheitsproblem in SortShuffleManager.unregisterShuffle
  • SPARK-52762 Hinzufügen einer PipelineAnalysisContext-Nachricht zur Unterstützung der Pipelineanalyse während der Spark Connect-Abfrageausführung
  • SPARK-53631 Optimieren von Arbeitsspeicher und Perf im SHS-Bootstrap
  • SPARK-53857 Aktivieren der MessageTemplate-Verteilung auf SparkThrowable
  • SPARK-53891 Modell DSV2 Commit-Zusammenfassungs-API
  • SPARK-53966 Hinzufügen von Hilfsfunktionen zum Erkennen von JVM-GCs
  • SPARK-53149 Korrektur der Tests zur Überprüfung, ob der BeeLine-Prozess im Hintergrund läuft
  • SPARK-53738 Korrigieren des geplanten Schreibvorgangs, wenn die Abfrageausgabe faltbare Sortierungen enthält
  • SPARK-53949 Anstelle Utils.getRootCause von Throwables.getRootCause
  • SPARK-53696 Wiederherstellen von "[SC-209330][python][CONNECT][sql] Default to bytes for BinaryType in PySpark"
  • SPARK-53804 Unterstützung der TIME-Radix-Sortierung
  • SPARK-54004 Beheben des Aufhebens der Caching-Tabelle anhand des Namens ohne Kaskadierung
  • SPARK-53261 Verwenden von Java String.join|StringJoiner anstelle von Guava Joiner
  • SPARK-53319 Unterstützt den Zeittyp durch try_make_timestamp_ltz()
  • SPARK-53280 Verwenden von Java instanceof anstelle von Throwables.throwIf* Methoden
  • SPARK-53696 Standardmäßig auf Bytes für BinaryType in PySpark setzen
  • SPARK-53258 Verwenden von JavaUtils's check(Argument|State)
  • SPARK-53773 Wiederherstellen alphabetischer Reihenfolge von Regeln in RuleIdCollection
  • SPARK-53256 Fördern check(Argument|State) zu JavaUtils
  • SPARK-54008 QO überspringen für DESCRIBE QUERY
  • SPARK-53573 Verwenden des Vorprozessors für die behandlung von generalisierten Parametermarkierungen
  • SPARK-53980 API hinzufügen SparkConf.getAllWithPrefix(String, String => K)
  • SPARK-54009 Unterstützen spark.io.mode.default
  • SPARK-51903 Überprüfen von Daten zum Hinzufügen einer CHECK-Einschränkung
  • SPARK-53573 Rückgängig machen von "[SC-209126][sql] Verwendung eines Pre-Processors für die generalisierte Behandlung von Parametermarkierungen"
  • SPARK-53573 Verwenden des Vorprozessors für die behandlung von generalisierten Parametermarkierungen
  • SPARK-53573 Rückgängig machen von "[SC-209126][sql] Verwendung eines Pre-Processors für die generalisierte Behandlung von Parametermarkierungen"
  • SPARK-53956 Support TIME in der Funktion "try_make_timestamp" in PySpark
  • SPARK-53930 SupportZEIT in der make_timestamp Funktion in PySpark
  • SPARK-53573 Verwenden des Vorprozessors für die behandlung von generalisierten Parametermarkierungen
  • SPARK-53564 Verhindern von DAGScheduler-Exits aufgrund eines BlockManager RPC-Timeout in DAGSchedulerEventProcessLoop
  • SPARK-53879 Upgrade Ammonite auf 3.0.3
  • SPARK-53938 Korrektur der Dezimalneukalierung in LocalDataToArrowConversion
  • SPARK-53845 SDP-Senken
  • SPARK-53908 Probleme mit den Beobachtungen für Spark Connect mit Plan-Cache beheben
  • SPARK-53841 Implementieren transform() in der Spalten-API
  • SPARK-53929 Unterstützung von TIME in den Funktionen make_timestamp und try_make_timestamp in Scala
  • SPARK-53902 Hinzufügen der Baumknoten-Musterbits für unterstützte Ausdrücke in der ParameterizedQuery Argumentliste
  • SPARK-53064 MDC LogKey in Java neu schreiben
  • SPARK-53762 Hinzufügen einer Datums- und Uhrzeitkonvertierung als Vereinfachungsregel zur Optimierung
  • SPARK-53916 Deduplizieren der Variablen in PythonArrowInput
  • SPARK-53690 Behebung der exponentiellen Formatierung von avgOffsetsBehindLatest und estimatedTotalBytesBehindLatest im Kafka-Sources-Objekt im fortlaufenden JSON
  • SPARK-53789 Kanonisierung des Fehlerzustands CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53720 Vereinfachen des Extrahierens von Tabelle aus DataSourceV2Relation (#52460)
  • SPARK-45530 Anstelle java.lang.ref.Cleaner von finalizeNioBufferedFileInputStream
  • SPARK-53789 Rückgängig machen von "[SC-208902][sql][CONNECT] Kanonische Fehlerbedingung CANNOT_MODIFY_STATIC_CONFIG"
  • SPARK-53789 Kanonisierung des Fehlerzustands CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53111 Implementieren der time_diff-Funktion in PySpark
  • SPARK-53896 Standardmäßig aktivieren spark.io.compression.lzf.parallel.enabled
  • SPARK-53856 Entfernen alternativer denylist Konfigurationsnamen
  • SPARK-53611 Begrenzung der Arrow-Batch-Größen in Window-Agg-UDFs
  • SPARK-53575 Wiederholen sie ganze Consumerphasen, wenn prüfsummenkonflikten für einen wiederholten Shuffle-Zuordnungsvorgang erkannt wurden
  • SPARK-53867 Begrenzen der Arrow-Batchgrößen in SQL_GROUPED_AGG_ARROW_UDF
  • SPARK-53877 Einführung der BITMAP_AND_AGG Funktion.
  • SPARK-51426 Behebung des Problems "Festlegen von Metadaten auf leeres Dictionary funktioniert nicht"
  • SPARK-53868 Verwenden der Arraylängenüberprüfung anstelle der Direkten Verweisüberprüfung in V2ExpressionBuilder
  • SPARK-53609 Begrenzung der Arrow-Batchgrößen in SQL_GROUPED_AGG_PANDAS_UDF
  • SPARK-53892 Anstelle der veralteten DescribeTopicsResult.allTopicNames API verwenden all
  • SPARK-53878 Beheben des Problems mit der Wettlaufsituation im Zusammenhang mit ObservedMetrics
  • SPARK-53796 Hinzufügen eines extension Felds zu einigen Pipeline-Prototypen zur Unterstützung der Vorwärtskompatibilität
  • SPARK-53850 Proto für Senken definieren und DefineDataset in DefineOutput umbenennen
  • SPARK-53812 Refaktorieren Sie die DefineDataset- und DefineFlow-Prototypen, um verwandte Eigenschaften zu gruppieren und zukünftige Entwicklungen abzusichern.
  • SPARK-53870 Beheben eines teilweisen Lesefehlers für große Proto-Nachrichten in TransformWithStateInPySparkStateServer
  • SPARK-53751 Expliziter Speicherort eines versionierten Checkpoints
  • SPARK-52407 Hinzufügen von Unterstützung für Theta Sketch (#171135)
  • SPARK-53779 Implementieren transform() in der Spalten-API
  • SPARK-49547 Iterator der RecordBatch API hinzufügen zu applyInArrow
  • SPARK-53802 Unterstützen von Zeichenfolgenwerten für das vom Benutzer angegebene Schema in SDP-Tabellen
  • SPARK-53865 Extrahieren allgemeiner Logik aus der ResolveGenerate-Regel
  • SPARK-53113 Unterstützung des Zeittyps durch try_make_timestamp()
  • SPARK-53868 Nur die Signatur mit Ausdruck[] in visitAggregateFunction V2ExpressionSQBuilder verwenden
  • SPARK-53792 Fix rocksdbPinnedBlocksMemoryUsage, wenn begrenzter Speicher ...
  • SPARK-53248 Unterstützung checkedCast in JavaUtils
  • SPARK-52640 Standort des Python-Quellcodes weitergeben
  • SPARK-52924 Die Unterstützung von ZSTD_strategy für die Komprimierung
  • SPARK-53562 Erneutes Anwenden von "[SC-207233][python] Begrenzung der Arrow-Batch-Größen in applyInArrow und applyInPandas"
  • SPARK-51272 Abbrechen anstatt Fortsetzen einer teilweise abgeschlossenen unbestimmten Ergebnisstufe bei ResubmitFailedStages
  • SPARK-53795 Entfernen nicht verwendeter Parameter in LiteralValueProtoConverter
  • SPARK-53808 Ermöglicht das Übergeben von optionalen JVM-Argumenten an spark-connect-scala-client
  • SPARK-52614 Unterstützung von RowEncoder innerhalb von Product Encoder
  • SPARK-53833 Aktualisieren dev/requirements.txt um torch/torchvision in Python 3.14 zu überspringen
  • SPARK-53715 Umgestalten von getWritePrivileges für MergeIntoTable
  • SPARK-53516 Beheben des spark.api.mode Argenprozesses in SparkPipelines
  • SPARK-53507 Verwenden Sie keine Fallklasse für BreakingChangeInfo
  • SPARK-53645 Implementieren Sie skipna den Parameter für ps.DataFrame any()
  • SPARK-53717MapType.valueContainsNull Parameterkommentar korrekter überarbeiten
  • SPARK-53700 Entfernen von Redundanz in DataSourceV2RelationBase.simpleString
  • SPARK-53667 Fix EXPLAIN für Anruf mit IDENTIFIER
  • SPARK-53562 Revert "[SC-207233][python] Begrenze die "Arrow" Batch-Größen in applyInArrow und applyInPandas"
  • SPARK-51169 Hinzufügen der Python 3.14-Unterstützung in Spark Classic
  • SPARK-53562 Begrenzung der Arrow-Batchgrößen in applyInArrow und applyInPandas
  • SPARK-53806 Leere Eingaben bei der AES-Entschlüsselung zulassen, damit eine Fehlerklasse vorhanden ist.
  • SPARK-51756 Berechnet RowBasedChecksum in ShuffleWriters
  • SPARK-52807 Protokolländerungen zur Unterstützung der Analyse innerhalb von Abfragefunktionen in deklarativen Pipelines
  • SPARK-53728 Drucke PipelineEvent-Nachricht mit Fehler im Test
  • SPARK-53207 Pipeline-Ereignis asynchron an den Client senden
  • SPARK-53829 Unterstützung datetime.time in Spaltenoperatoren
  • SPARK-53638 Begrenzung der Byte-Größe von Arrow-Batches für TWS, um OOM zu vermeiden
  • SPARK-53593 Fix: Unquoted für Antwortfelder verwenden
  • SPARK-53734 Bevorzugung der Tabellenspalte gegenüber LCA beim Auflösen des Array-Index
  • SPARK-53593 Hinzufügen eines Antwortfelds für DefineDataset und DefineFlow RPC
  • SPARK-53734 Wiederherstellen von "[SC-207697][sql] Bevorzugen Sie die Tabellenspalte über LCA beim Auflösen des Arrayindexes"
  • SPARK-53621 Unterstützung für die Ausführung von CONTINUE HANDLER hinzufügen
  • SPARK-53734 Bevorzugung der Tabellenspalte gegenüber LCA beim Auflösen des Array-Index
  • SPARK-53507 Signifikante Änderungen als Informationen zu Fehlern hinzufügen
  • SPARK-53707 Verbessern sie die Behandlung von Attributmetadaten.
  • SPARK-53629 Implementieren der Typweiterung für MERGE INTO MIT SCHEMA EVOLUTION
  • SPARK-53719 Verbesserung der Typprüfung in der Funktion _to_col
  • SPARK-53735 Ausblenden serverseitiger JVM-Stapelablaufverfolgungen standardmäßig in Spark-Pipelines-Ausgabe
  • SPARK-53651 Hinzufügen von Unterstützung für persistente Ansichten in Pipelines
  • SPARK-53678 Beheben von NPE, wenn eine Unterklasse von ColumnVector mit dem Datentyp null erstellt wird
  • SPARK-46679 Fix für SparkUnsupportedOperationException Es wurde kein Encoder vom Typ T gefunden, wenn die parametrisierte Klasse verwendet wird.
  • SPARK-53444 Erneutes Ausführen sofortiger Überarbeitungen
  • SPARK-53578 Vereinfachen der Datentypbehandlung in LiteralValueProtoConverter
  • SPARK-53438 Verwenden von CatalystConverter in LiteralExpressionProtoConverter
  • SPARK-53444 Rückgängig machen "[SC-206535][sql][CORE] Überarbeitung von 'execute immediate' rückgängig machen"
  • SPARK-53444 Erneutes Ausführen sofortiger Überarbeitungen
  • SPARK-53112 Unterstützung von TIME in den Funktionen make_timestamp_ntz und try_make_timestamp_ntz in PySpark
  • SPARK-53492 Einen zweiten ExecutePlan mit einer Vorgangs-ID ablehnen, die bereits abgeschlossen wurde
  • SPARK-52772 Weiterleiten des Fixierens von Golddateien
  • SPARK-53591 Vereinfachung des Pipelinespezifikationsmuster-Glob-Matchings
  • SPARK-53553 Beheben der Behandlung von Nullwerten in LiteralValueProtoConverter
  • SPARK-52772 Inkonsistente Tabellenattributebehandlung während aktualisierungen
  • SPARK-53544 Unterstützung komplexer Typen von Beobachtungen
  • SPARK-53357 Aktualisieren pandas auf 2.3.2
  • SPARK-53402 Unterstützung der DIRECT Passthrough Partitioning Dataset-API in Spark Connect in Scala
  • SPARK-53372 SDP End to End Testing Suite
  • SPARK-53402 Rückgängigmachen: "[SC-206163][connect] Unterstützung der Direct Passthrough Partitioning Dataset-API in Spark Connect in Scala"
  • SPARK-53402 Unterstützung der DIRECT Passthrough Partitioning Dataset-API in Spark Connect in Scala
  • SPARK-53233 Den Code so anpassen, dass der richtige Paketname verwendet wird
  • SPARK-53233 Wiederherstellen von "[SC-203716][sql][SS][mllib][CONNECT] Stellen Sie den Code im Zusammenhang mit streaming der Verwendung des richtigen Paketnamens her"
  • SPARK-53233 Den Code so anpassen, dass der richtige Paketname verwendet wird
  • SPARK-53561 Unterbrechungsausnahme in TransformWithStateInPySparkStateServer während des outputStream.flush abfangen, um einen Absturz des Arbeiters zu vermeiden
  • SPARK-53486 Vermeiden Sie die Einstellung weights_only=False beim Laden des Torch-Modells
  • SPARK-53391 Nicht verwendete PrimitiveKeyOpenHashMap entfernen
  • SPARK-52431 Letzte Anpassungen am Deklarativen Pipeline-Runner
  • SPARK-52980 Unterstützung von Arrow Python UDTFs
  • SPARK-53453 Freigeben von 'torch<2.6.0'
  • SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Verbessern der Speicherauslastung des XML-Parsers"
  • SPARK-52582 "[SC-199314][sc-204581][SQL] Verbessern der Speicherauslastung des XML-Parsers"
  • SPARK-52582 Verbessern der Speicherauslastung des XML-Parsers
  • SPARK-51906 Dsv2-Ausdrücke in ALTER TABLE ADD COLUMNS
  • SPARK-53150 Verbessern list(File|Path)s um nicht existierende, nicht Verzeichnis und Symlink-Eingaben zu behandeln.
  • SPARK-53091 Verbot org.apache.commons.lang3.Strings
  • SPARK-52844 Numpy auf 1.22 aktualisieren
  • SPARK-52912SparkStringUtils verbessern, um is(Not)?(Blank|Empty) zu unterstützen
  • SPARK-52877 Verbessern der Leistung von Python-UDF-Pfeil serialisierer
  • SPARK-52877 Rückgängig machen "[SC-201914][python] Verbesserung der Leistung des Python UDF Arrow Serializers"
  • SPARK-52238 Python-Client für deklarative Pipelines
  • SPARK-52877 Verbessern der Leistung von Python-UDF-Pfeil serialisierer
  • SPARK-53287 Hinzufügen eines ANSI-Migrationshandbuchs
  • SPARK-52110 Implementieren der SQL-Syntaxunterstützung für Pipelines
  • SPARK-52897 Aktualisieren pandas auf 2.3.1
  • SPARK-52451 Rückgängigmachen von "[SC-202894][connect][SQL] Make WriteOperation in SparkConnectPlanner ohne Seiteneffekte"
  • SPARK-52976 Beheben von Python-UDF, das keine sortierte Zeichenfolge als Eingabeparameter/Rückgabetyp akzeptiert
  • SPARK-52904 ConvertToArrowArraySafely standardmäßig aktivieren
  • SPARK-52821 add int-DecimalType> pyspark udf return type coercion
  • SPARK-52971 Beschränken der Größe der Python-Workerwarteschlange im Leerlauf
  • SPARK-53013 Fix Pfeiloptimierter Python UDTF, der keine Zeilen bei lateraler Verknüpfung zurückgibt
  • SPARK-51834 Synchronisierungsbetriebssysteme: Unterstützen der Einschränkungsbeschränkung für end-to-end-Tabellen
  • SPARK-52675 Unterbrechen hängender ML-Handler in Tests
  • SPARK-52959 Unterstützung von UDT in pfeiloptimierten Python UDTF
  • SPARK-52961 Fix Pfeiloptimierte Python UDTF mit 0 Arg eval bei lateraler Verknüpfung
  • SPARK-52949 Vermeidung eines Roundtrips zwischen RecordBatch und Table in Arrow-optimierten Python UDTF
  • SPARK-52946 Behebung von Arrow-optimierten Python UDTF zur Unterstützung großer Variablentypen
  • SPARK-52934 Ermöglichen des Bereitstellens von Skalarwerten mit Arrow-optimierten Python-UDTF
  • SPARK-52861 Überspringen der Erstellung eines Row-Objekts bei Arrow-optimierter UDTF-Ausführung
  • SPARK-51834 Sync OSS Support End-to-End-Erstellungs-/Ersetzungstabelle mit Einschränkung
  • SPARK-44856 Verbesserung der Leistung des Python UDTF Arrow Serializer
  • SPARK-51834 Rückgängig machen von "[SQL] Behebung von TableSpec durch Hinzufügen eines Konstruktors"
  • SPARK-51834 Korrektur von TableSpec durch Hinzufügen eines Konstruktors
  • SPARK-51834 Rückgängig machen von "[SQL] Sync OSS (teilweise): Unterstützung der End-to-End-Tabelleneinschränkung beim Erstellen/Ersetzen von Tabellen"
  • SPARK-51834 Open-Source-Software synchronisieren (teilweise): Unterstützung von End-to-End-Tabellenbeschränkungen beim Erstellen oder Ersetzen von Tabellen
  • SPARK-52885 Implementieren der Funktionen "Stunde", "Minute" und "Sekunde" in Scala für den TIME-Typ
  • SPARK-51834 Synchronisieren des OSS-Updates "ResolvedIdentifier" nicht angewendete Aufrufe
  • SPARK-44856 Änderung rückgängig machen "[SC-195808][python] Verbesserung der Leistung des Python-UDTF-Arrow-Serialisierers"
  • SPARK-51834 Rückgängigmachen von "[SQL] Synchronisierung OSS-Update ResolvedIdentifier unapply calls"
  • SPARK-44856 Verbesserung der Leistung des Python UDTF Arrow Serializer
  • SPARK-51834 Synchronisieren des OSS-Updates "ResolvedIdentifier" nicht angewendete Aufrufe
  • SPARK-52787 Neuorganisieren der Streamingausführung um Laufzeit- und Prüfpunktbereiche
  • SPARK-51695 Synchronisiere OSS zum Erstellen/Ersetzen/Ändern von Tabellen für eindeutige Einschränkungen über DSv2
  • SPARK-51695 Synchronisierung osS drop constraint via DSv2
  • SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
  • SPARK-51695 Rückgängig machen von "[SQL] Einbringen von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)"
  • SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
  • SPARK-49428 Scala-Client von Connector zu SQL verschieben
  • SPARK-52422 Aktualisieren pandas auf 2.3.0
  • SPARK-52228 Integrieren von Zustandsinteraktionsmikrobenchmark in Quicksilver (TCP)
  • SPARK-52300 SQL UDTVF-Auflösung nutzt konsistente Konfigurationen für die Ansichtsauflösung.
  • SPARK-52228 Erstellen des vom Benchmark vorgesehenen TWS-Zustandsservers mit In-Memory-Zustandsimplementierungen und dem Python-Benchmark-Code
  • SPARK-52174 Standardmäßig aktivieren spark.checkpoint.compress
  • SPARK-52224 Einführen von pyyaml als Abhängigkeit für den Python-Client
  • SPARK-52122 Beheben der Sicherheitsanfälligkeit in DefaultParamsReader RCE
  • SPARK-51147 Umgestalten von Streaming-verwandten Klassen zu einem dedizierten Streamingverzeichnis
  • SPARK-51789 Beachten Sie spark.api.mode und spark.remote beim Analysieren von Argumenten in der Spark-Übermittlung ordnungsgemäß.
  • SPARK-51212 Hinzufügen eines getrennten PySpark-Pakets für Spark Connect standardmäßig
  • SPARK-50762 Hinzufügen der Analyzer-Regel zum Auflösen von SQL-Skalar-UDFs
  • SPARK-49748 Hinzufügen von getCondition und Veralten von getErrorClass in SparkThrowable
  • SPARK-50605 Unterstützung des SQL-API-Modus für eine einfachere Migration zu Spark Connect
  • SPARK-50458 Ordnungsgemäße Fehlerbehandlung für nicht unterstützte Dateisysteme beim Lesen von Dateien
  • SPARK-49700 Vereinheitlichte Scala-Schnittstelle für Connect und Classic
  • SPARK-51779 Verwenden von virtuellen Spaltenfamilien für Stream-Stream-Verknüpfungen
  • SPARK-51820 Verschieben Sie die UnresolvedOrdinal-Konstruktion vor der Analyse, um ein Problem mit der Gruppierung nach Ordinalzahlen zu vermeiden
  • SPARK-51814 Einführung einer neuen API transformWithState in PySpark
  • SPARK-51635 Zusammenführen von PushProjectionThroughLimit und PushProjectionThroughOffset
  • SPARK-51165 Standardmäßig aktivieren spark.master.rest.enabled
  • SPARK-51688 Verwenden von Unix Domain Socket zwischen Python und JVM-Kommunikation
  • SPARK-51503 Unterstützung des Variant-Typs im XML-Scan
  • SPARK-50564 Upgrade protobuf des Python-Pakets auf 5.29.1
  • SPARK-50359 Upgrade PyArrow auf 18.0
  • SPARK-51340 Modellgrößenschätzung
  • SPARK-50657 Aktualisieren der Mindestversion von pyarrow 11.0.0
  • SPARK-49282 Erstellen Sie eine freigegebene SparkSessionBuilder-Schnittstelle.
  • SPARK-51371 Ändern von "toString" in "toPrettySQL" beim Erstellen von Aliasen in ResolveAggregateFunctions
  • SPARK-50694 Unterstützung von Umbenennungen in Unterabfragen
  • SPARK-50601 "[SC-186342][sql] Support withColumns / withColumnsRenamed in Unterabfragen" zurücksetzen
  • SPARK-50601 Support mit Spalten / mit umbenannten Spalten in Unterabfragen

Azure Databricks ODBC/JDBC-TREIBERunterstützung

Azure Databricks unterstützt in den letzten 2 Jahren veröffentlichte ODBC/JDBC-Treiber. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Wartungsupdates

Siehe Databricks Runtime Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 24.04.3 LTS
  • Java: Zulu21.42+19-CA
  • Skala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Delta Lake: 4.0.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
annotierte-Dokumentation 0.0.3 annotated-types 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
Pfeil 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 Attrs 24.3.0 autocommand 2.2.2
azure-common 1.1.28 Azure Core 1.36.0 Azure-Identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.27.1
Azure-Speicher-Datei-Datensee 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 schwarz 24.10.0 Bleichmittel 6.2.0
Blinker 1.7.0 boto3 1.40.45 Botocore 1.40.45
CacheWerkzeuge 5.5.1 Zertifikat 2025.4.26 cffi 1.17.1
Chardet 4.0.0 Charset-Normalizer 3.3.2 klicken 8.1.8
cloudpickle 3.0.0 Kommunikation 0.2.1 Contourpy 1.3.1
Kryptographie 44.0.1 Fahrradfahrer 0.11.0 Cython 3.1.5
databricks-agents 1.4.0 databricks-connect 17.3.1 Databricks-SDK 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
Dekorateur 5.1.1 defusedxml 0.7.1 Deltalake 1.1.4
Deprecated 1.2.18 Distlib 0.3.9 Docstring zu Markdown 0.11
ausführen 1.2.0 Übersicht der Facetten 1.1.1 fastapi 0.121.0
fastjsonschema 2.21.1 Dateisperrung 3.18.0 fonttools 4.55.3
fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth 2.43.0
Google Cloud Core 2.5.0 Google Cloud-Speicher 3.5.0 google-crc32c 1.7.1
google-resumable-media 2.7.2 googleapis-common-protos 1.65.0 GRPCIO 1.67.0
grpcio-status 1.67.0 h11 0.16.0 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 idna 3.7
importlib-metadata 6.6.0 inflect 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isoduration 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 Jiter 0.11.1 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 jsonschema-Spezifikationen 2023.7.1
Jupyter-Ereignisse 0.12.0 jupyter-lsp 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 jupyter_server 2.15.0 jupyter_server_terminals 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.0.3
langchain-openai 1.0.2 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 markdown-it-py 2.2.0
MarkupSafe 3.0.2 Marshmallow 3.26.1 matplotlib 3.10.0
matplotlib-inline 0.1.7 mccabe 0.7.0 mdurl 0.1.0
mistune 3.1.2 mlflow-skinny 3.5.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
mypy-Erweiterungen 1.0.0 nbclient 0.10.2 nbconvert 7.16.6
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
Notebook 7.3.2 Notebook-Shim 0.2.4 numpy 2.1.3
oauthlib 3.2.2 openai 2.7.1 opentelemetry-api 1.38.0
opentelemetry-proto 1.38.0 opentelemetry-sdk 1.38.0 opentelemetry-semantic-conventions (opentelemetrie-semantische-Konventionen) 0,59b0
Orjson 3.11.4 overrides 7.4.0 Verpackung 24,2
Pandas 2.2.3 Pandocfilter 1.5.0 Parso 0.8.4
pathspec 0.10.3 patsy 1.0.1 pexpect 4.8.0
Kissen 11.1.0 pip 25.0.1 platformdirs 4.3.7
plotly 5.24.1 plugin-fähig 1.5.0 prometheus_client 0.21.1
Prompt-Toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
Pyasn1 0.4.8 Pyasn1-Module 0.2.8 pyccolo 0.0.71
pycparser 2.21 Pydantisch 2.10.6 pydantic_core 2.27.2
Pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 Pyroaring 1.0.3
pytest 8.3.5 Python-dateutil 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 Python-LSP-Server 1.12.2
pytoolconfig 1.2.6 Pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referenzierung 0.30.2 Regex 2024.11.6
requests 2.32.3 anforderungs-toolbelt 1.0.0 rfc3339-Prüfer 0.1.4
rfc3986-validator 0.1.1 rich 13.9.4 Seil 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 SciPy 1.15.3 Seegeboren 0.13.2
Send2Trash 1.8.2 setuptools 78.1.1 Sechs 1.17.0
smmap 5.0.0 sniffio 1.3.0 sortierte Container 2.4.0
Sieb für Suppe 2,5 sqlparse 0.5.3 ssh-import-id 5.11
Stapeldaten 0.6.3 Starlet 0.49.3 strictyaml 1.7.3
Hartnäckigkeit 9.0.0 terminado 0.17.1 Threadpoolctl 3.5.0
tiktoken 0.12.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 Tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 Typwächter 4.3.0 types-python-dateutil 2.9.0.20251008
Eingabeprüfung 0.9.0 typing_extensions 4.12.2 tzdata 2024.1
ujson 5.10.0 unbeaufsichtigte Aktualisierungen 0,1 URI-Vorlage 1.3.0
urllib3 2.3.0 uvicorn 0.38.0 virtualenv 20.29.3
wadllib 1.3.6 wcwidth 0.2.5 webcolors 25.10.0
Webkodierungen 0.5.1 WebSocket-Client 1.8.0 Was ist neu im Patch 1.0.2
Rad 0.45.1 Wann auch immer 0.7.3 widgetsnbextension 3.6.6
Eingehüllt 1.17.0 yapf 0.40.2 zipp 3.21.0
zstandard 0.23.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2025-03-20installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 22.0.0 Askpass 1.2.1 prüfen, dass 0.2.1
backports 1.5.0 Basis 4.5.1 base64enc 0.1-3
bigD 0.3.1 bit 4.6.0 Bit64 4.6.0-1
bitops 1.0-9 Klumpen 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 Besen 1.0.10
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
Caret 7.0-1 CellRanger 1.1.0 Chron 2.3-62
class 7.3-22 cli 3.6.5 clipr 0.8.0
clock 0.7.3 Gruppe 2.1.6 Codetools 0.2-20
Commonmark 2.0.0 Kompilierer 4.5.1 config 0.3.2
conflicted 1.2.0 cpp11 0.5.2 Buntstift 1.5.3
Zugangsdaten 2.0.3 cURL 7.0.0 data.table 1.17.8
Datensätze 4.5.1 DBI 1.2.3 dbplyr 2.5.1
Beschreibung 1.4.3 devtools 2.4.6 Diagramm 1.6.5
diffobj 0.3.6 verdauen 0.6.39 downlit 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
Ellipse 0.3.2 auswerten 1.0.5 Fans 1.0.7
farver 2.1.2 fastmap 1.2.0 fontawesome 0.5.3
forcats 1.0.1 foreach 1.5.2 Fremd 0.8-86
fs 1.6.6 Zukunft 1.68.0 future.apply 1.20.0
gargle 1.6.0 Generika 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 globals 0.18.0
Klebstoff 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 Graphik 4.5.1 grGeräte 4.5.1
grid 4.5.1 gridExtra 2.3 gsubfn 0.7
GT 1.1.0 g-Tabelle 0.3.6 Schutzhelm 1.4.2
Hafen 2.5.5 highr 0.11 hms 1.1.4
HTML-Werkzeuge 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 Ausweise 1.0.1
ini 0.3.1 IPRED 0.9-15 Isobande 0.2.7
iterators 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 Knitr 1.50
Etikettierung 0.4.3 later 1.4.4 lattice 0.22-5
lava 1.8.2 Lebenszyklus 1.0.4 „listenv“ 0.10.0
litedown 0.8 Schmiermittel 1.9.4 magrittr 2.0.4
markdown 2.0 MASS 7.3-60.0.1 Matrix 1.6-5
memoise 2.0.1 Methodik 4.5.1 mgcv 1.9-1
Mime-Kunst 0,13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 Modellierer 0.1.11 nlme 3.1-164
NNET 7.3-19 numDeriv 2016.8 bis 1.1 OpenSSL 2.3.4
otel 0.2.0 parallel 4.5.1 parallel dazu 1.45.1
Säule 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 loben 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 Prozessx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 Fortschritt 1.2.3 progressr 0.18.0
Versprechungen 1.5.0 proto 1.0.0 Stellvertreter 0.4-27
P.S. 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 reaktivierbar 0.4.4 reactR 0.6.1
READR 2.1.6 readxl (Softwarepaket zum Lesen von Excel-Dateien) 1.4.5 Rezepte 1.3.1
Rückspiel 2.0.0 Rückspiel2 2.1.2 fernbedienungen 2.5.0
reprex 2.1.1 Umform2 1.4.5 rlang 1.1.6
RMarkdown 2,30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
RVEST 1.0.5 S7 0.2.1 Sass 0.4.10
scales 1.4.0 selectr 0.4-2 Sitzungsinformationen 1.2.3
Gestalt 1.4.6.1 glänzend 1.11.1 sourcetools 0.1.7-1
Sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spatial 7.3-17 splines 4.5.1 sqldf 0.4-11
SQUAREM 2021.1 Statistiken 4.5.1 Statistiken4 4.5.1
Stringi 1.8.7 stringr 1.6.0 Überleben 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 Textgestaltung 1.0.4
Tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 Zeitumstellung 0.3.0 timeDate 4051.111
tinytex 0.58 Werkzeuge 4.5.1 Zeitzonendatenbank (tzdb) 0.5.0
URL-Prüfer 1.0.1 Nutze dies 3.2.1 utf8 1.2.6
utils 4.5.1 Universelle eindeutige Kennung (UUID) 1.2-1 V8 8.0.1
VCTRS 0.6.5 viridisLite 0.4.2 vroom 1.6.6
Waldo 0.6.2 whisker 0.4.1 Withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 YAML-Dateiformat 2.3.10 zeallot 0.2.0
zip 2.3.3

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws Amazon-Kinesis-Client 1.15.3
com.amazonaws AWS Java SDK für Auto Scaling 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws aws-java-sdk-cloudfront 1.12.681
com.amazonaws aws-java-sdk-cloudhsm 1.12.681
com.amazonaws aws-java-sdk-cloudsearch (Cloud-Suchdienst) 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws aws-java-sdk-codedeploy 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws AWS-Java-SDK-Config 1.12.681
com.amazonaws aws-java-sdk-core 1.12.681
com.amazonaws aws-java-sdk-datapipeline 1.12.681
com.amazonaws aws-java-sdk-directconnect 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk (Java SDK für Elastic Beanstalk von AWS) 1.12.681
com.amazonaws aws-java-sdk-elasticloadbalancing (Software Development Kit für Elastic Load Balancing in AWS mit Java) 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK für Elastic Transcoder) 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws aws-java-sdk-glacier 1.12.681
com.amazonaws aws-java-sdk-glue (eine Bibliothek für den Glue-Service von Amazon Web Services) 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws aws-java-sdk-importexport 1.12.681
com.amazonaws aws-java-sdk-kinesis 1.12.681
com.amazonaws aws-java-sdk-kms 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-Protokolle 1.12.681
com.amazonaws aws-java-sdk-machinelearning (Maschinelles Lernen) 1.12.681
com.amazonaws aws-java-sdk-opsworks 1.12.681
com.amazonaws aws-java-sdk-rds 1.12.681
com.amazonaws aws-java-sdk-redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm 1.12.681
com.amazonaws aws-java-sdk-storagegateway 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws aws-java-sdk-Support (Unterstützung für AWS Java SDK) 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics Datenstrom 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Klassenkamerad 1.5.1
com.fasterxml.jackson.core Jackson-Anmerkungen 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core Jackson-Datenbindung 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine Koffein 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Einheimische
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Einheimische
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Einheimische
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Einheimische
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth Google-Auth-Library-Credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value AutoValue-Anmerkungen 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone fehleranfällige Annotationen 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava failureaccess 1.0.3
com.google.guava Guave 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (Software Development Kit für Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (Datenkompression mit LZF-Algorithmus) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
Commons-Dateihochladen Commons-Dateihochladen 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift Luftkompressor 2.0.2
io.delta delta-sharing-client_2.13 1.3.6
io.dropwizard.metrics Metrikanmerkung 4.2.37
io.dropwizard.metrics metrics-core 4.2.37
io.dropwizard.metrics Metrics-Graphit 4.2.37
io.dropwizard.metrics metrics-healthchecks 4.2.37
io.dropwizard.metrics Metrik-Jetty10 4.2.37
io.dropwizard.metrics Metrics-JMX 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics Metrik-Servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty Netty Codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty Netty-Codec-Komprimierung 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty Netty-Resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-Klassen 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx Sammler 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktivierung 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction Transaktions-API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine Gurke 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.Schneeflocke snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant Ameise 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow Pfeilformat 18.3.0
org.apache.arrow arrow-memory-core 18.3.0
org.apache.arrow Arrow-Memory-Netty 18.3.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.3.0
org.apache.arrow Pfeil-Vektor 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-Text 1.14.0
org.apache.curator Kurator-Klient 5.9.0
org.apache.curator curator-framework 5.9.0
org.apache.curator Rezepte des Kurators 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derby 10.14.2.0
org.apache.hadoop Hadoop-Client-Laufzeit 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-Client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims Hive-Shims-Scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc ORC-Format 1.1.1-schattiert-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc Orc-Shims 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper Tierpfleger 3.9.4
org.apache.zookeeper zookeeper-jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty Jetty-Client 10.0.26
org.eclipse.jetty Jetty-HTTP 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty Jetty-Plus 10.0.26
org.eclipse.jetty Jetty-Proxy 10.0.26
org.eclipse.jetty Jetty-Sicherheit 10.0.26
org.eclipse.jetty Jetty Server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty Jetty-Util 10.0.26
org.eclipse.jetty Jetty-Webanwendung 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-Ortungssystem 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-neu verpackt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt Testoberfläche 1,0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest ScalaTest-kompatibel 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Tipp

Versionshinweise zu Versionen von Databricks Runtime, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zum Ende des Supports für Databricks Runtime. Die EoS Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

  • Last updated on