Versionshinweise für serverloses Computing

In diesem Artikel werden die Features und Verhaltensweisen erläutert, die derzeit für serverloses Computing für Notebooks und Aufträge verfügbar und geplant sind.

Weitere Informationen zu serverlosem Computing finden Sie unter Herstellen einer Verbindung mit serverlosem Computing.

Azure Databricks veröffentlicht regelmäßig Updates für serverloses Computing und upgradet automatisch die Runtime für serverloses Computing, um Verbesserungen und Upgrades auf der Plattform zu unterstützen. Alle Benutzenden erhalten innerhalb eines kurzen Zeitraums die gleichen Updates.

Serverlose Umgebungsversionen

Serverlose Berechnung für Notizbücher und Aufträge verwendet Umgebungsversionen, die eine stabile Client-API basierend auf Spark Connect bereitstellen, um die Anwendungskompatibilität sicherzustellen. Auf diese Weise können Databricks den Server unabhängig aktualisieren, Leistungsverbesserungen, Sicherheitsverbesserungen und Fehlerbehebungen bereitstellen, ohne dass Codeänderungen an Workloads erforderlich sind.

Jede Umgebungsversion enthält eine bestimmte Python-Version und eine Reihe von Python-Paketen mit definierten Versionen. Databricks führt neue Features und Korrekturen in der neuesten Umgebungsversion ein, während Sicherheitsupdates auf alle unterstützten Umgebungsversionen angewendet werden.

Versionshinweise zu Versionen serverloser Umgebungen finden Sie unter Umgebungsversionen.

Versionshinweise

Dieser Abschnitt enthält Versionshinweise für serverloses Computing. Versionshinweise sind nach Jahr und Woche des Jahres strukturiert. Serverloses Computing wird immer mit dem zuletzt veröffentlichten Release ausgeführt, das hier aufgeführt ist.

DataFrame-Caching auf serverless Compute ist jetzt in Public Preview verfügbar

23. Oktober 2026

DataFrame-Caching auf serverloser Rechenkapazität ist jetzt in Public Preview verfügbar. Du kannst einen DataFrame mit df.cache() oder df.persist() auf serverlosem Computing cachen, um ein teures Ergebnis für den Rest deiner Sitzung wiederzuverwenden. Caching erfordert eine serverlose Umgebung Version 5 oder höher, Databricks Connect für Python 18.1.8 oder höher oder Databricks Connect für Scala 18.1.5 oder höher. Die Vorschau ist für die meisten Arbeitsbereiche standardmäßig aktiviert. Workspace-Administratoren können es über die Previews-Seite deaktivieren. Weitere Informationen finden Sie unter DataFrames auf serverlosem Compute zwischenspeichern.

19. Oktober 2026

19. Oktober 2026

Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.

Verhaltensänderungen

  • Spark Connect Ausführungsmetriken verbergen Details zu Zeilenfiltern und Spaltenmasken: DataFrame-Ausführungsmetriken verbergen nun interne Operatoren und Metriken, die mit Zeilenfiltern und Spaltenmasken verbunden sind. Dies schützt Informationen über die Ausführung der Richtlinie beim Inspizieren von df.executionInfo.metrics, einschließlich der Textdarstellung. Die Grenze des geschützten Teils des Plans und dessen eigene Kennzahlen bleiben sichtbar. Die Abfrageergebnisse bleiben unverändert. Notebooks oder Werkzeuge, die auf detaillierten Kennzahlen innerhalb geschützter Unterpläne angewiesen sind, müssen möglicherweise aktualisiert werden.

21. September 2026

21. September 2026

Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.

Neue Funktionen

  • truncate-Funktion: Die truncate-Funktion führt eine Verkürzung einer Zahl ohne Rundung auf eine angegebene Skalierung durch.

  • trim_array Funktion: Die trim_array Funktion entfernt die angegebene Anzahl von Elementen am Ende eines Arrays.

31. August 2026

31. August 2026

Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.

Neue Funktionen

  • Der automatische Änderungsdatenfeed ist allgemein verfügbar: Der automatische Änderungsdatenfeed (Auto CDF) berechnet Änderungen auf Zeilenebene zur Abfragezeit. Es funktioniert mit Batch-Abfragen, strukturiertem Streaming und Delta Sharing und erfordert Zeilenverfolgung. Siehe "Datenfeed für automatische Änderung".

  • parse_sql Funktion: Die parse_sql Funktion parselt eine SQL-Anweisung und liefert strukturiertes JSON zurück, das Anweisungsmetadaten, Tabellenreferenzen, Auswahllisten-Ausdrücke oder Parserfehlerinformationen enthält.

Verhaltensänderungen

  • from_protobuf überspringt fehlgebildete, nicht ausgewählte Felder, wenn das Schema-Pruning aktiviert ist: Wenn Protobuf-Schema-Pruning aktiviert ist, from_protobuf wird keine Felder mehr dekodiert oder validiert, die eine Abfrage nicht ausgewählt hat. Ein fehlerhaftes, nicht ausgewähltes Feld nulliert die Zeile im PERMISSIVE Modus nicht mehr und scheitert nicht mehr an der Abfrage im Modus FAILFAST .

  • JDBC Pushdown verarbeitet Null-Literale korrekt: Data Source v2 JDBC Pushdown gibt jetzt das SQL-Literal NULL statt des Strings 'null'aus. Abfragen, die Ausdrücke wie NULLIF gruppieren, erzeugen jetzt eine NULL-Gruppe anstelle einer separaten 'null' String-Gruppe.

  • HTTP- und KI-Funktionen folgen keinen Weiterleitungen mehr: http_request und KI-Funktionen folgen nicht mehr HTTP-3xx-Weiterleitungen. Aufrufe, die eine Weiterleitung erhalten, geben nun einen entfernten HTTP-Fehler für den Weiterleitungsstatus zurück. Downloads des Dateiquellen-Konnektors sind nicht betroffen.

24. August 2026

24. August 2026

Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.

Neue Funktionen

  • collect_union Aggregatfunktion: Die collect_union Aggregatfunktion gibt die distinkte Vereinigung der Elemente in Arrays innerhalb jeder Gruppe zurück.

Verhaltensänderungen

  • HAVING wird vor Fensterfunktionen in Abfragen mit Generatoren ausgewertet: Für Abfragen, die Generatoren enthalten, wie explode, werden Fensterfunktionen nun nach dem HAVING Filter ausgewertet. Fensterergebnisse enthalten daher nur Zeilen, die von HAVING beibehalten werden.

  • Die Richtlinienlogik ist standardmäßig in Abfrageplänen versteckt: Abfragepläne legen keine Zeilenfilter- und Spaltenmasken-Richtlinienlogik mehr offen, es sei denn, der Benutzer hat das INSPECT_POLICY_EXECUTION Metastore-Recht.

  • Delta API DML verwendet die Richtlinien-Definiererrechte: DeltaTable.delete, DeltaTable.update, und DeltaTable.merge löst nun Zeilenfilter- und Spaltenmasken-Richtlinienfunktionen mit den Rechten des Richtliniendefinierers auf, entsprechend SQL DML. Aufrufer müssen EXECUTE diese Richtlinienfunktionen nicht mehr verwenden, wenn sie über die erforderlichen Tabellenberechtigungen verfügen.

17. August 2026

17. August 2026

Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.

Neue Funktionen

  • is_valid_variant Funktion: Die is_valid_variant Funktion gibt zurück, true wenn die Eingabe ein wohlgeformter VARIANT Wert ist und false andernfalls. Nutze es, um Variantendaten vor der nachgelagerten Verarbeitung zu validieren.

  • DataFrameGroupBy.cov und SeriesGroupBy.describe in der pandas-API auf Spark: Die pandas-API auf Spark unterstützt DataFrameGroupBy.covnun , die die paarweise Kovarianz der Spalten innerhalb jeder Gruppe berechnet, und SeriesGroupBy.describe, die beschreibende Statistiken für jede Gruppe erzeugt.

  • pa.ChunkedArray Unterstützung in createDataFrame: createDataFrame() verarbeitet jetzt pandas Dataframes mit PyArrow-Spalten ChunkedArray und verhindert Typfehler, wenn man Arrow-gestützte pandas-Daten verwendet.

JAR-Aufgaben auf serverloser Berechnung sind jetzt allgemein verfügbar

6. August 2026

Paketiere Scala- oder Java-Code als JAR und führe ihn als Aufgabe in einem Lakeflow-Job auf serverloser Berechnung aus. Ihr JAR muss mit den Scala-, Java Development Kit (JDK) und Databricks Connect-Versionen Ihrer serverlosen Umgebung übereinstimmen. Siehe JARs auf serverloser Rechenleistung erstellen und ausführen.

Serverlose Rechenzugriffskontrolle ist jetzt allgemein verfügbar

3. August 2026

Serverlose Rechenzugriffskontrolle ist jetzt allgemein verfügbar. Workspace-Administratoren können steuern, wer serverlose Workloads über zwei integrierte serverlose Compute-Objekte ausführt: Default Interactive Compute (steuert den Zugriff auf Notebooks und Databricks Connect) und Default Automated Compute (steuert den Zugriff auf Jobs und Spark Declarative Pipelines auf Lakeflow). Alle Workspace-Nutzer haben standardmäßig Can Use auf beiden Objekten, sodass bestehende Workloads weiterhin ohne Änderungen ausgeführt werden.

Siehe Serverlose Rechenleistung verwalten.

6. Juli 2026

6. Juli 2026

Diese serverlose Computeversion enthält Updates von Databricks Runtime 18.

Neue Funktionen

  • Spark Declarative Pipelines on Lakeflow Streaming Query ID: Spark Declarative Pipelines on Lakeflow kann nun die Streaming-Abfrage-ID auf Abruf festlegen.

  • IP-Adressfunktionen (öffentliche Vorschau): Neue SQL-Funktionen sind für die Arbeit mit IPv4- und IPv6-Adressen sowie CIDR-Blöcken verfügbar, darunter ip_host, ip_cidr, ip_version, ip_prefix_length, ip_as_binary, ip_cidr_contains, ip_as_string, ip_network, ip_network_last und try_* Varianten für nullsicheres Verhalten. Siehe ip_host und verwandte Funktionen.

  • On-Demand-Zustands-Repartitionierung (öffentliche Vorschau): Structured Streaming unterstützt nun das Ändern der Anzahl der Mischpartitionen für zustandsbehaftete Abfragen, ohne den Checkpoint-Status zu verlieren. Siehe On-Demand-Zustandsumpartitionierung für zustandsbehaftete Streamingabfragen.

Verhaltensänderungen

  • CREATE OR REPLACE TABLE Behält Kommentare bei: CREATE OR REPLACE TABLE Erhält nun standardmäßig bestehende Kolumnen- und Tabellenkommentare. Zuvor wurden Kommentare beim Erneuten Erstellen einer Tabelle gelöscht. Verwaltete Tabellen und Ansichten entsprechen nun dem vorhandenen Verhalten materialisierter Ansichten und Streamingtabellen.

  • DataFrame-Schreibvorgänge nach Namen wandeln kompatible Spalten um: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() und write.mode("append").saveAsTable() wandeln nun automatisch typkompatible Spalten (zum Beispiel int in long) um, damit sie dem Zielschema der Delta-Tabelle entsprechen. Zuvor schlugen diese Vorgänge mit einem DELTA_FAILED_TO_MERGE_FIELDS-Fehler fehl, wenn Spaltentypen kompatibel, aber nicht identisch waren. Das Verhalten stimmt jetzt mit SQL INSERT INTO ... BY NAMEüberein.

  • ALTER TABLE SET TBLPROPERTIES für pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') versucht nun, die spezifizierte Tabelle durch die Pipeline schreibfähig zu machen. Das Festlegen dieser Eigenschaft auf eine normale Tabelle hatte bisher keine Auswirkung. Wenn die Tabelle nicht für Pipeline-Schreibvorgänge geeignet ist, löst der Befehl SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED aus.

  • DESCRIBE EXTENDED AS JSON Enthält Ergebnisse der prädiktiven Optimierung: DESCRIBE EXTENDED ... AS JSON Enthält nun die Ergebnisse der prädiktiven Optimierungsbewertung in ihrem Output. Zuvor wurden diese Informationen nicht in der JSON-Ausgabe zurückgegeben.

  • Messwerte im Metrik-Ansichtsfenster liefern korrekte Ergebnisse: Messwerte im Metrik-Ansichtsfenster liefern nun korrekte Ergebnisse, wenn Abfragen GROUP BY, IN/BETWEEN-Filter oder gemischte Prädikate auf die Sortierspalte des Fensters verwenden. Bisher konnten diese Filtermuster falsche Ergebnisse erzielen.

  • Structured Streaming Deduplizierung mit NaN Keys: Structured Streaming Deduplizierung behandelt NaN nun (Not-a-Number) Werte mit unterschiedlichen Bitmustern als Duplikate, wenn eine double oder float Spalte als Deduplizierungsschlüssel verwendet wird. NaN Zuvor wurden Werte mit unterschiedlichen internen Darstellungen als eindeutig behandelt und nicht dedupliziert.

  • NATURAL JOIN Groß-/Kleinschreibung-unabhängiger Spaltenabgleich: NATURAL JOIN gleicht gemeinsame Spalten jetzt ohne Beachtung der Groß-/Kleinschreibung ab, was mit dem äquivalenten USING Join übereinstimmt. Zuvor wurde beim Spaltenabgleich zwischen Groß- und Kleinschreibung unterschieden, sodass Spalten, die sich nur in der Groß-/Kleinschreibung unterschieden (z. B. ID vs. id), nicht als gemeinsame Spalten erkannt wurden, was zu einer automatischen Kreuzverknüpfung anstelle der erwarteten Gleichheitsverknüpfung führte.

Version 18.2

13. Mai 2026

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 18.2.

Neue Funktionen

  • CREATE OR REPLACE Unterstützung für temporäre Tabellen: CREATE OR REPLACE TEMP TABLE Syntax wird jetzt unterstützt, sodass Sie temporäre Tabellen in einer einzigen Anweisung erstellen oder ersetzen können. Dadurch ist es nicht erforderlich, temporäre Tabellen explizit abzulegen und neu zu erstellen.

  • agg() Alias für measure() Funktion: agg() ist jetzt als Alias für die Funktion measure() verfügbar. Diese Änderung ist vollständig abwärtskompatibel. Vorhandene Abfragen, die measure() verwenden, funktionieren weiterhin ohne Änderung. agg() erzeugt identische Ergebnisse, wenn es mit denselben Argumenten verwendet wird.

  • Snowflake JDBC-Treiber-Upgrade: Der Snowflake JDBC-Treiber wurde von 3.22.0 auf 3.28.0 aktualisiert.

  • pyspark.pipelines.testing Namespace-Alias: pyspark.pipelines.testing ist jetzt als Convenience-Alias für dlt.testing APIs verfügbar. Importieren Sie Spark Declarative Pipelines über einen der beiden Namespaces in die Lakeflow-Dienstprogramme zum Testen von Pipelines.

  • Die Delta-Tabellenhistorie enthält Schreiboption-Flags: Die Delta-Tabellenhistorie (DESCRIBE HISTORY) umfasst nun Schreib-Option-Flags in der Spalte operationParameters für WRITE- und REPLACE TABLE-Operationen. Wenn die folgenden Optionen explizit aktiviert sind, werden sie als boolesche Flags im Verlauf angezeigt (nur in folgenden trueFällen enthalten):

    Für WRITE und REPLACE TABLE Vorgänge:

    • isDynamicPartitionOverwrite: vorhanden, wenn der Dynamische Partitionsüberschreibmodus verwendet wurde
    • canOverwriteSchema: vorhanden, wenn das Schema überschreiben (overwriteSchema) aktiviert wurde
    • canMergeSchema: vorhanden, wenn die Schemazusammenführung (mergeSchema) aktiviert wurde

    Für REPLACE TABLE Vorgänge:

    • predicate: vorhanden, wann replaceWhere verwendet wurde
    • isV1WriterSaveAsTableOverwrite: vorhanden, wenn die Ersetzung durch eine .saveAsTable Überschreibung ausgelöst wurde
  • Daten mit replaceUsing- und replaceOn-DataFrame-APIs selektiv ersetzen: Die replaceOn- und replaceUsing-Optionen in den Scala- und Python-DataFrame-APIs sind jetzt allgemein verfügbar. Verwenden Sie diese Optionen, um einen Teil der Tabelle durch das Ergebnis eines DataFrames zu ersetzen. replaceOn ersetzt Zeilen, die einer benutzerdefinierten Bedingung entsprechen. replaceUsing ersetzt Zeilen, in denen die angegebenen Spalten gleich sind. Diese APIs ergänzen die INSERT REPLACE ON und INSERT REPLACE USING SQL-Anweisungen. Weitere Informationen finden Sie unter Selektives Überschreiben von Daten mit Delta Lake.

Verhaltensänderungen

  • NULL-Struct-Erhaltung in INSERT, MERGE und Streaming-Schreibvorgänge mit Schema-Evolution: Für INSERT, MERGE und Streaming-Schreibvorgänge, die Schema-Evolution verwenden, wird eine NULL-Struktur in der Quelle nun als NULL im Ziel gespeichert. Zuvor wurde dieser Wert fälschlicherweise als eine Nicht-Null-Struktur materialisiert, bei der jedes Feld auf NULL gesetzt wurde, während dieselben Vorgänge ohne Schema-Evolution ordnungsgemäß NULL-Strukturen beibehalten haben. Wenn ihr Code auf dem Empfang einer Nicht-Null-Struktur basiert, deren Felder alle NULL waren, aktualisieren Sie den Code stattdessen, um eine NULL-Struktur zu behandeln.

  • Fix für das Verwerfen von Zeilen bei LEFT OUTER JOIN LATERAL: Ein Fehler, durch den Zeilen bei LEFT OUTER JOIN LATERAL-Abfragen fälschlicherweise verworfen wurden, wurde nun behoben. Abfragen, die dieses Konstrukt verwenden, geben jetzt die richtigen Ergebnisse zurück. Um vorübergehend zum vorherigen Verhalten zurückzukehren, setzen Sie spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic auf true.

  • NATURAL JOIN berücksichtigt Groß-/Kleinschreibung nicht berücksichtigende Spaltenabgleiche:NATURAL JOIN verwendet nun korrekt Groß-/Kleinschreibung nicht berücksichtigende Spaltenabgleiche, wenn spark.sql.caseSensitive auf false gesetzt ist (die Standardeinstellung). Früher verwendete NATURAL JOIN einen fallsensitiven Vergleich, um allgemeine Spalten zu identifizieren, was dazu führte, dass Spalten, die sich nur in Groß- und Kleinschreibung unterschieden (z. B. ID versus id), nicht als übereinstimmend erkannt wurden. Dies führte dazu, dass NATURAL JOIN automatisch Cross-Join-Ergebnisse erzeugt hat. Diese Korrektur stimmt das NATURAL JOIN-Verhalten mit USING Verknüpfungen ab, die die Groß-/Kleinschreibung bereits korrekt nicht berücksichtigen. Von diesem Fehler betroffene Abfragen geben jetzt korrekte Ergebnisse mit ordnungsgemäß verknüpften Spalten zurück.

  • SQL UDF-Abhängigkeitsvalidierung im Unity Catalog: Unity Catalog erzwingt nun die Abhängigkeitsvalidierung für benutzerdefinierte SQL-Funktionen (UDFs), um Zugriffskontrollumgehungen zu verhindern. Zuvor konnten sql-Funktionen, die über die REST-API erstellt wurden, auf Abhängigkeiten verweisen, auf die der Benutzer nicht zugreifen konnte. SQL UDFs mit ungültigen Abhängigkeitskonfigurationen werden jetzt von der Ausführung blockiert.

  • AWS SDK v1 Abhängigkeiten sind schattiert: AWS SDK v1 Abhängigkeiten, die mit der Azure Databricks Laufzeit gebündelt sind, sind jetzt schattiert und nicht mehr direkt auf dem Classpath verfügbar. Wenn Ihr Code von aws SDK v1-Bibliotheken abhängt, die zuvor von der Azure Databricks Laufzeit bereitgestellt wurden, fügen Sie sie als explizite Abhängigkeiten in Ihrem Projekt hinzu. Diese Änderung bereitet sich auf die Migration zu AWS SDK v2 vor, nachdem der AWS-Support für SDK v1 beendet wurde.

  • Beheben Sie falsche EPSG-Autorität für ESRI-definierte SRID 102100: Die Koordinatenreferenzsystem-(CRS)-Abbildung für SRID 102100 verwendet ESRI:102100 jetzt korrekt statt des falschen EPSG:102100. Dieser Fix stellt sicher, dass Geospatialdaten mit der richtigen Autorität gespeichert werden, um eine bessere Interoperabilität mit anderen Systemen zu ermöglichen.

Version 18.1

20. April 2026

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 18.1.

Neue Funktionen

  • DATETIMEOFFSET Datentyp-Unterstützung für Microsoft Azure Synapse: Der DATETIMEOFFSET Datentyp wird für Microsoft Azure Synapse-Verbindungen unterstützt.

  • Google BigQuery-Tabellenkommentare: Google BigQuery-Tabellenbeschreibungen werden aufgelöst und als Tabellenkommentare offengelegt.

  • JDBC-Verbindung: Verwenden Sie eine JDBC-Verbindung , um eine Datenquelle mit der Spark Data Source API oder der Databricks Remote Query SQL API zu lesen und zu schreiben.

  • Schemaentwicklung mit INSERT Anweisungen: Verwenden Sie die WITH SCHEMA EVOLUTION Klausel mit SQL-Anweisungen INSERT , um das Schema der Zieltabelle während der Einfügungsoperationen automatisch weiterzuentwickeln. Die Klausel wird für INSERT INTO, INSERT OVERWRITE und INSERT INTO ... REPLACE-Formulare unterstützt. Siehe Schemaentwicklung.

  • Erhaltene NULL-Strukturwerte in INSERT Operationen: INSERT Operationen mit Schema-Entwicklung oder impliziter Casting, erhalten NULL Strukturwerte, wenn Quell- und Zieltabellen unterschiedliche Strukturfeldordnungen aufweisen.

  • Unterstützung für Multi-Statement-Transaktionen bei Delta Sharing: Delta Sharing-Tabellen, die vorsignierte URL- oder Cloud-Token-Sharing-Modi verwenden, unterstützen Multi-Statement-Transaktionen. Beim ersten Zugriff innerhalb einer Transaktion wird die Tabellenversion angeheftet und für alle nachfolgenden Lesevorgänge in dieser Transaktion wiederverwendet. Zeitreisen, Datenfeeds ändern und Streaming werden nicht unterstützt.

  • parse_timestamp SQL-Funktion: Die parse_timestamp SQL-Funktion parst Zeitstempel-Strings mithilfe mehrerer Muster. Die Funktion wird auf dem Photon-Modul ausgeführt, um die Leistung zu verbessern.

  • max_by und min_by mit optionaler Begrenzung: Die aggregierten Funktionen max_by und min_by akzeptieren nun ein optionales drittes Argument limit (bis zu 100.000), das ein Array von Top- oder Bottom-K-Werten ohne Fensterfunktionen oder CTEs zurückgibt.

  • Vektoraggregat- und Skalarfunktionen: Neue SQL-Funktionen arbeiten mit ARRAY<FLOAT> Vektoren zur Einbettung und Ähnlichkeits-Workloads, darunter vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm und vector_normalize. Siehe integrierte Funktionen.

  • Unterstützung von SQL-Cursorn in zusammengesetzten Anweisungen: SQL-Skripting-zusammengesetzte Anweisungen unterstützen nun die Cursor-Verarbeitung. Verwenden Sie DECLARE CURSOR, um einen Cursor zu definieren, dann OPEN statement, FETCH statement, und CLOSE statement, um die Abfrage auszuführen und die Zeilen einzeln zu verarbeiten.

  • Approximative Top-K-Skizzenfunktionen: Neue Funktionen ermöglichen das Erstellen und Kombinieren von approximativen Top-K-Skizzen für verteilte Top-K-Aggregation: approx_top_k_accumulate, approx_top_k_combine und approx_top_k_estimate. Siehe approx_top_k Aggregatfunktion.

  • Tuple-Skizzenfunktionen: Neue Aggregat- und Skalarfunktionen für Tuple-Skizzen unterstützen das Zählen unterschiedlicher Werte und die Aggregation über Schlüssel-Zusammenfassungspaare. Siehe integrierte Funktionen.

  • Neue georäumliche Funktionen: Folgende georäumliche Funktionen sind jetzt verfügbar:

    • st_estimatesrid funktion: Schätzt den am besten projizierten Räumlichen Referenzbezeichner (SRID) für eine Eingabegeometrie.
    • st_force2d Funktion: Wandelt eine Geografie oder Geometrie in die 2D-Darstellung um.
    • st_nrings Funktion: Zählt die Gesamtanzahl der Ringe in einem Polygon oder Multipolygon, einschließlich Außen- und Innenringen.
    • st_numpoints funktion: Zählt die Anzahl der nicht leeren Punkte in einer Geografie oder Geometrie.
  • Photon-Unterstützung für georäumliche Funktionen: st_difference Funktion, st_intersection Funktion und st_union Funktion laufen jetzt auf der Photon-Engine für schnellere Leistung.

Verhaltensänderungen

  • Fehler bei Beobachtungsmetriken lassen Abfragen nicht mehr fehlschlagen: Fehler während der Sammlung von Beobachtungsmetriken verursachen keine Abfrageausführungsfehler mehr. Bisher konnten Fehler in OBSERVE Klauseln (z. B. Division durch Null) die gesamte Abfrage blockieren oder fehlschlagen. Die Abfrage wird nun erfolgreich abgeschlossen, und der Fehler wird ausgelöst, wenn Sie aufrufen observation.get.

  • DESCRIBE FLOW Reserviertes Schlüsselwort: Der DESCRIBE FLOW Befehl ist jetzt verfügbar. Wenn Sie eine Tabelle mit dem Namen flow haben, verwenden Sie DESCRIBE schema.flow, DESCRIBE TABLE flow oder DESCRIBE `flow` mit Backticks.

  • SpatialSQL-Boolean-Operationen setzen: ST_Difference, ST_Intersection, und ST_Union verwenden eine neue Implementierung mit etwa doppelt so hoher Leistung. Gültige Eingabegeometrien erzeugen immer ein Ergebnis. Die Ergebnisse werden für eine konsistente Ausgabe normalisiert und können sich nach der 15. Dezimalstelle bei Schnittpunkten von Liniensegmenten aufgrund unterschiedlicher Formeln und der Reihenfolge der Rechenoperationen unterscheiden.

  • Ausnahmetypen für SQLSTATE:Ausnahmetypen werden aktualisiert, um SQLSTATE zu unterstützen. Wenn Ihr Code Ausnahmen anhand von Zeichenfolgenabgleich analysiert oder bestimmte Ausnahmetypen abfangen, aktualisieren Sie die Fehlerbehandlungslogik.

Version 18.0

27. Februar 2026

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 18.0.

Neue Funktionen

  • SQL-Skripting ist jetzt allgemein verfügbar: SQL-Skripting ist jetzt allgemein verfügbar.

  • Redshift JDBC-Treiber auf 2.1.0.28 aktualisiert: Der Redshift JDBC-Treiber wurde auf Version 2.1.0.28 aktualisiert.

  • Gemeinsame Isolationsausführungsumgebung für Unity Catalog Python UDFs: Unity Catalog Python UDFs mit demselben Besitzer können nun standardmäßig eine Isolationsumgebung teilen, was die Leistung verbessert und den Speicherverbrauch reduziert. Um sicherzustellen, dass eine UDF immer in einer vollständig isolierten Umgebung ausgeführt wird, fügen Sie die STRICT ISOLATION Merkmalsklausel hinzu. Siehe Umgebungsisolation.

  • SQL-Fensterfunktionen in Metrikansichten: Sie können jetzt SQL-Fensterfunktionen in Metrikansichten verwenden, um laufende Summen, Ranglisten und andere fensterbasierte Berechnungen zu berechnen.

  • Dynamische Anpassung der Shuffle-Partition bei stateless Streaming-Abfragen: Sie können jetzt die Anzahl der Shuffle-Partitionen in stateless Streaming-Abfragen ändern, ohne die Abfrage neu starten zu müssen.

  • Adaptive Query Execution und auto-optimiertes Shuffle in zustandslosen Streaming-Abfragen: Adaptive Query Execution (AQE) und auto-optimiertes Shuffle (AOS) werden jetzt in zustandslosen Streaming-Abfragen unterstützt.

  • Literal-Zeichenketten überall zusammenfassen: Die Fähigkeit, aufeinanderfolgende String-Literale wie 'Hello' ' World' zu 'Hallo Welt' zusammenzufassen, wurde auf alle Stellen erweitert, an denen String-Literale zulässig sind. Siehe STRING-Typ.

  • Parametermarker an allen Stellen: Man kann jetzt benannte (:param) und unbenannte (?) Parametermarker praktisch überall verwenden, wo ein literaler Wert des entsprechenden Typs verwendet werden kann, einschließlich DDL-Anweisungen und Spaltentypen. Siehe Parametermarkierungen.

  • IDENTIFIER Klausel überall: Die IDENTIFIER Klausel, die Zeichenketten in SQL-Objektnamen umwandelt, wurde auf nahezu überall ausgeweitet, wo ein Identifikator erlaubt ist, einschließlich Spaltenaliasen und Spaltendefinitionen. Siehe IDENTIFIER Klausel.

  • Neue BITMAP_AND_AGG-Funktion: Eine neue bitmap_and_agg-Aggregatfunktion steht nun zur Verfügung.

  • Neue Theta-Skizzenfunktionen: Eine neue Bibliothek von Funktionen für ungefähre unterschiedliche Zähl- und Mengenoperationen mit Datasketches Theta Sketch ist jetzt verfügbar, darunter theta_sketch_agg, theta_union_agg, theta_intersection_agg und verwandte Funktionen.

  • Neue KLL Sketch-Funktionsbibliothek: Eine neue Bibliothek von Funktionen zum Erstellen von KLL Sketches für approximative Quantilberechnungen ist jetzt verfügbar, einschließlich kll_sketch_agg_bigint, kll_sketch_agg_double und verwandter Funktionen.

  • Apache Parquet Bibliothek auf 1.16.0 aktualisiert: Die Apache Parquet Bibliothek wurde auf Version 1.16.0 aktualisiert.

  • Neue geospatiale Funktionen: Die folgenden neuen geospatialen Funktionen werden nun unterstützt:

  • Verbesserte räumliche Join-Leistung: Die räumliche Join-Leistung wird nun durch die Einführung der Unterstützung für Shuffled Spatial Join verbessert.

  • Verbesserte Leistung für georäumliche Funktionen: Photonenimplementierungen sind jetzt für st_isvalid Funktion, st_makeline Funktion und st_makepolygon Funktion verfügbar.

  • EWKT-Eingabe-Unterstützung: Die Funktionen try_to_geography, try_to_geometry, to_geography und to_geometry akzeptieren nun Extended Well-Known Text (EWKT) als Eingabe.

Verhaltensänderungen

  • FSCK REPAIR TABLE enthält standardmäßig Metadatenreparatur: Der FSCK REPAIR TABLE Befehl enthält nun einen ersten Metadaten-Reparaturschritt, bevor er auf fehlende Datendateien überprüft wird. Der Befehl kann an Tabellen mit beschädigten Prüfpunkten oder ungültigen Partitionswerten arbeiten.

  • Prorationsfaktoren zwischen Lesevorgängen und auto-optimierten Schreibvorgängen angeglichen: Prorationsfaktoren für die Partitionsgröße werden nun bei Lesevorgängen und auto-optimierten Schreibvorgängen konsistent mit Bruchwerten verwendet. Diese Änderung kann zu einer unterschiedlichen Anzahl von Aufgaben für Lesevorgänge führen.

  • Python UDF-Ausführung einheitlich über PySpark und Unity Catalog hinweg: Unity Catalog Python UDFs verwenden nun Apache Arrow als Standard-Austauschformat, was die Gesamtleistung verbessert. Im Rahmen dieser Änderung enthalten die an die Python-UDFs übergebenen Werte keine Zeitzoneninformationen mehr im TIMESTAMPdatetime-Attribut des Objekts. Wenn Ihre UDF auf Zeitzoneninformationen angewiesen ist, stellen Sie sie mit date = date.replace(tzinfo=timezone.utc) wieder her. Siehe Zeitzonenverhalten von Zeitstempeln bei zeilenweisen Eingaben.

  • Verbesserte Fehlermeldungen bei Kafka-Connector-Login-Modul-Problemen: Wenn der Kafka-Connector mit einer unschattierten Login-Modul-Klasse verwendet wird, liefert Azure Databricks nun Fehlermeldungen, die vorschlagen, das korrekte schattierte Klassenpräfix (kafkashaded.org.apache.kafka oder kafkashaded.software.amazon.msk.auth.iam) zu verwenden.

  • Zeitreisebeschränkungen und VACUUM Aufbewahrungsverhalten: Azure Databricks blockiert nun Zeitreiseanfragen jenseits des Schwellenwerts deletedFileRetentionDuration für alle Tabellen. Der VACUUM Befehl ignoriert das Argument "Aufbewahrungsdauer", es sei denn, der Wert beträgt 0 Stunden. Sie können deletedFileRetentionDuration nicht größer als logRetentionDuration oder umgekehrt festlegen.

  • BinaryType wird standardmäßig in PySpark auf bytes abgebildet: In PySpark wird BinaryType jetzt konsequent auf Python bytes abgebildet. Zuvor hat PySpark BinaryType abhängig vom Kontext entweder in bytes oder in bytearray abgebildet. Um das alte Verhalten wiederherzustellen, setzen Sie spark.sql.execution.pyspark.binaryAsBytes auf false fest.

  • Partitionsspalten, die in Parquet-Dateien materialisiert wurden: Partitionierte Delta-Tabellen materialisieren nun Partitionsspalten in neu geschriebenen Parquet-Datendateien. Zuvor wurden Partitionswerte in den Delta-Transaktionsprotokollmetadaten gespeichert und in Verzeichnispfaden wiedergegeben, aber nicht als Spalten in den Parkettdateien selbst geschrieben. Diese Änderung könnte sich auf Workloads auswirken, die direkt von Delta geschriebene Parquet-Dateien lesen.

  • DESCRIBE TABLE Die Ausgabe enthält die Metadaten-Spalte: Die Ausgabe von DESCRIBE TABLE [EXTENDED] enthält jetzt eine neue metadata Spalte für alle Tabellentypen, die semantische Metadaten (Anzeigename, Format und Synonyme) enthält, die als JSON-String in der Tabelle definiert sind.

Serverlose Umgebung, Version 5, ist jetzt verfügbar

25. Februar 2026

Sie können jetzt serverlose Umgebung, Version 5, in Ihren serverlosen Notizbüchern und Aufträgen verwenden. Dazu gehören sowohl die CPU- als auch die GPU-Umgebungsversionen. Siehe Environment Version 5.

Version 17.3

28. Oktober 2025

Diese Serverless-Compute-Version entspricht ungefähr Databricks Runtime 17.3 LTS.

Neue Funktionen

  • LIMIT ALLE Unterstützung für rekursive CTEs: Sie können jetzt die LIMIT ALL Klausel mit rekursiven gemeinsamen Tabellenausdrücken (rCTEs) verwenden, um explizit anzugeben, dass keine Zeilenbegrenzung auf die Abfrageergebnisse angewendet werden soll. Siehe allgemeiner Tabellenausdruck (Common Table Expression, CTE).

  • Das Anhängen an Dateien in Unity Catalog-Volumes gibt die richtige Fehlermeldung zurück: Beim Versuch, an bestehende Dateien in Unity Catalog-Volumes anzuhängen, wird nun eine aussagekräftigere Fehlermeldung zurückgegeben, die Ihnen hilft, das Problem zu verstehen und zu beheben.

  • st_dump Funktionsunterstützung: Man kann die st_dump Funktion nun verwenden, um ein geometriebasiertes Objekt in seine Bestandteile zu zerlegen und so eine Menge einfacherer Geometrien zurückzugeben. Siehe st_dump Funktion.

  • Polygon-Innenringfunktionen werden jetzt unterstützt: Sie können nun die folgenden Funktionen verwenden, um mit Polygon-Innenringen zu arbeiten:

    • st_numinteriorrings: Ruft die Anzahl der inneren Begrenzungen (Ringe) eines Polygons ab. Siehe st_numinteriorrings Funktion.
    • st_interiorringn: Extrahieren Sie die n-te innere Begrenzung eines Polygons und geben Sie sie als LineString zurück. Siehe st_interiorringn Funktion.
  • EXECUTE IMMEDIATE Verwendung konstanter Ausdrücke: Die EXECUTE IMMEDIATE Anweisung unterstützt nun die Verwendung konstanter Ausdrücke in der Abfragezeichenkette, was eine flexiblere dynamische SQL-Ausführung ermöglicht. Siehe EXECUTE IMMEDIATE.

  • Serverless Compute erlaubenspark.sql.files.maxPartitionBytes: Sie können jetzt den spark.sql.files.maxPartitionBytes Spark-Konfigurationsparameter bei serverless Compute konfigurieren, um die maximale Anzahl der Bytes zu steuern, die beim Lesen von Dateien in eine einzige Partition gepackt werden. Siehe Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge.

Verhaltensänderungen

  • Unterstützung von MV/ST-Aktualisierungsinformationen in DESCRIBE EXTENDED AS JSON: Der DESCRIBE EXTENDED AS JSON-Befehl enthält nun Aktualisierungsinformationen für materialisierte Ansichten und Streaming-Tabellen und bietet Einblick in die letzte Aktualisierungszeit und den -status.

  • Metadatenspalte zu DESCRIBE QUERY und DESCRIBE TABLE hinzufügen: Die Befehle DESCRIBE QUERY und DESCRIBE TABLE enthalten nun eine Metadatenspalte in ihrer Ausgabe, die zusätzliche Informationen über die Eigenschaften und Merkmale jeder Spalte liefert.

  • Korrekter Umgang mit Nullstrukturen beim Entfernen von NullTyp-Spalten: Azure Databricks behandelt nun korrekt Nullstrukturwerte beim Entfernen von Spalten mit NullType, wodurch potenzielle Datenkorruption oder unerwartetes Verhalten verhindert wird.

  • Verbesserte Handhabung von Null-Structs in Parquet: Diese Version beinhaltet Verbesserungen darin, wie Null-Struct-Werte beim Lesen und Schreiben von Parquet-Dateien behandelt werden, um ein konsistenteres und korrekteres Verhalten zu gewährleisten.

  • Upgrade der aws-msk-iam-auth-Bibliothek für Kafka: Die aws-msk-iam-auth für die Amazon MSK IAM-Authentifizierung verwendete Bibliothek wurde auf die neueste Version aktualisiert, was verbesserte Sicherheit und Kompatibilität bietet.

Version 17.2

25. September 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.2.

Neue Funktionen

  • ST_ExteriorRing Funktion wird jetzt unterstützt: Man kann die ST_ExteriorRing Funktion jetzt verwenden, um die äußere Begrenzung eines Polygons zu extrahieren und als Linienstring zurückzugeben. Siehe st_exteriorring Funktion.
  • Unterstützung für das Schlüsselwort TEMPORARY bei der Erstellung von Metrikansichten: Sie können das TEMPORARY Schlüsselwort jetzt verwenden, wenn Sie eine Metrikansicht erstellen. Temporäre Metrikansichten sind nur in der Sitzung sichtbar, die sie erstellt hat, und werden gelöscht, wenn die Sitzung endet. Siehe CREATE VIEW.

  • Verwende native I/O für LokiFileSystem.getFileStatus auf S3: LokiFileSystem.getFileStatus verwendet jetzt den nativen I/O-Stack für den Amazon-S3-Datenverkehr und gibt shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus-Objekte statt org.apache.hadoop.fs.FileStatus zurück.

  • Auto Loader leitet Partitionsspalten im Modus singleVariantColumn ab: Auto Loader leitet nun Partitionsspalten aus Dateipfaden ab, wenn Daten als semi-strukturierter Variantentyp mit der Option singleVariantColumn erfasst werden. Zuvor wurden Partitionsspalten nicht automatisch erkannt. Weitere Informationen finden Sie unter "Auto Loader".

Verhaltensänderungen

  • DESCRIBE CONNECTION zeigt Umgebungseinstellungen für JDBC-Verbindungen : Azure Databricks enthält nun benutzerdefinierte Umgebungseinstellungen in der DESCRIBE CONNECTION Ausgabe für JDBC-Verbindungen, die benutzerdefinierte Treiber unterstützen und isoliert ausgeführt werden. Andere Verbindungstypen bleiben unverändert.

  • Option zum Kürzen der Uniform-Historie während der Migration von verwalteten Tabellen: Sie können jetzt die Uniform-Historie beim Migrieren von Tabellen mit aktiviertem Uniform/Iceberg mit ALTER TABLE...SET MANAGED kürzen. Dies vereinfacht Migrationen und reduziert Ausfallzeiten im Vergleich zum manuellen Deaktivieren und erneuten Aktivieren von Uniform.

  • Korrekte Ergebnisse für split mit leerem Regex und positivem Limit: Azure Databricks liefert jetzt korrekte Ergebnisse bei Verwendung split function mit leerem Regex und positivem Limit. Zuvor hat die Funktion die verbleibende Zeichenfolge falsch abgeschnitten, anstatt sie in das letzte Element einzubinden.

  • Korrektur der Fehlerbehandlung für url_decode und try_url_decode in Photon: In Photon geben url_decode() und failOnError = false mit NULL jetzt try_url_decode() für ungültige URL-kodierte Zeichenfolgen zurück, anstatt dass die Abfrage fehlschlägt.

  • Gemeinsame Ausführungsumgebung für Unity Catalog Python UDTFs: Azure Databricks teilt jetzt die Ausführungsumgebung für Python-benutzerdefinierte Tabellenfunktionen (UDTFs) mit demselben Eigentümer und derselben Spark-Sitzung. Eine optionale STRICT ISOLATION-Klausel ist verfügbar, um die Freigabe für UDTFs mit Nebeneffekten zu deaktivieren, z. B. das Ändern von Umgebungsvariablen oder das Ausführen von beliebigem Code.

Version 17.1

19. August 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.1.

Neue Funktionen

  • Reduzierter Speicherverbrauch für breite Schemata in Photon Writer: Verbesserungen wurden an der Photon-Engine vorgenommen, die den Speicherverbrauch für breite Schemata deutlich reduzierten und Szenarien adressierten, die zuvor zu Speicherfehlern führten.

Verhaltensänderungen

  • Fehler für ungültige CHECK Constraints geworfen: Azure Databricks wirft jetzt ein AnalysisException , wenn ein CHECK Constraint-Ausdruck während der Constraint-Validierung nicht aufgelöst werden kann.

  • Der Pulsar-Connector stellt Bouncy Castle nicht mehr bereit: Die Bouncy-Castle-Bibliothek ist nun im Pulsar-Connector schattiert eingebunden, um Klassenpfadkonflikte zu vermeiden. Daher können Spark-Aufträge nicht mehr über den Connector auf Klassen zugreifen org.bouncycastle.* . Wenn Ihr Code von Bouncy Castle abhängt, installieren Sie die Bibliothek manuell in der serverlosen Umgebung.

  • Auto Loader verwendet standardmäßig Dateiereignisse, falls verfügbar: Der Auto-Loader verwendet Dateiereignisse anstelle einer Verzeichnisliste, wenn der Ladepfad an einem externen Ort mit aktivierten Dateiereignissen liegt. Der Standardwert useManagedFileEvents ist jetzt if_available (war false). Dies kann die Erfassungsleistung verbessern und eine Warnung protokollieren, wenn Dateiereignisse noch nicht aktiviert sind.

  • Der Teradata-Connector ermöglicht einen Zeichenfolgenvergleich mit Unterscheidung zwischen Groß-/Kleinschreibung: Der Teradata-Connector wird jetzt standardmäßig auf TMODE=ANSI gesetzt, indem das Vergleichsverhalten von Zeichenfolgen mit Azure Databricks vereinheitlicht und die die Groß- und Kleinschreibung beachtet wird. Diese Änderung ist konfigurierbar und wirkt sich nicht auf vorhandene Benutzer aus, es sei denn, sie melden sich an.

Serverlose Umgebung, Version 4

13. August 2025

Umgebungsversion 4 ist jetzt in Ihren serverlosen Notizbüchern und Aufträgen verfügbar. Diese Umgebungsversion enthält Bibliotheksupgrades und API-Updates. Siehe Environment Version 4.

Version 17.0

24. Juli 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.0.

Neue Funktionen

  • SQL-Prozedurenunterstützung: SQL-Skripte können nun in einer Prozedur gekapselt werden, die als wiederverwendbares Asset im Unity Catalog gespeichert ist. Sie können eine Prozedur mit dem Befehl CREATE PROCEDURE erstellen und dann mithilfe des Befehls CALL aufrufen.

  • Setzen Sie eine Standard-Kollierung für SQL-Funktionen: Die Verwendung der neuen DEFAULT COLLATION Klausel im CREATE FUNCTION Befehl definiert die Standard-Kollierung für STRING Parameter, den Rückgabetyp und STRING Literale im Funktionskörper.

  • Unterstützung für rekursive gemeinsame Tabellenausdrücke (rCTE): Azure Databricks unterstützt nun die Navigation hierarchischer Daten mithilfe von rekursiven gemeinsamen Tabellenausdrücken (rCTEs). Verwenden Sie eine selbstverweisende CTE mit UNION ALL, um der rekursiven Beziehung zu folgen.

  • PySpark und Spark Connect unterstützen jetzt die DataFrames df.mergeInto . API: PySpark und Spark Connect unterstützen jetzt die df.mergeInto API.

  • Unterstützung für SHOW in ALL CATALOGS SCHEMAS: Die Syntax ALL CATALOGS wird aktualisiert, um SHOW SCHEMAS zu akzeptieren, sodass Sie alle aktiven Kataloge, die Namensräume unterstützen, durchlaufen können. Die Ausgabeattribute enthalten nun eine catalog Spalte, die den Katalog des entsprechenden Namespaces angibt.

  • Liquid Clustering kompaktiert jetzt Löschvektoren effizienter: Delta-Tabellen mit Liquid Clustering wenden physische Änderungen aus Löschvektoren jetzt effizienter an, wenn OPTIMIZE ausgeführt wird. Weitere Details finden Sie unter Anwenden von Änderungen an Parkettdatendateien.

  • Nicht-deterministische Ausdrücke UPDATE/INSERT in Spaltenwerten für MERGE-Operationen zulassen: Azure Databricks erlaubt nun die Verwendung nicht-deterministischer Ausdrücke in aktualisierten und eingefügten Spaltenwerten von MERGE-Operationen. Beispielsweise können Sie jetzt dynamische oder zufällige Werte für Spalten mithilfe von Ausdrücken wie rand() generieren.

  • Ändern Sie die Delta MERGE Python APIs so, dass sie DataFrame statt Unit zurückgeben: Die Python-APIs MERGE (wie DeltaMergeBuilder) geben jetzt ebenfalls einen DataFrame zurück, ähnlich wie die SQL-API, mit denselben Ergebnissen.

Verhaltensänderungen

  • Verhaltensänderung für die Option der inkrementellen Verzeichnisliste Auto Loader: Der Wert der veralteten Option Auto Loader cloudFiles.useIncrementalListing wird nun auf einen Standardwert von gesetzt false. Dadurch führt diese Änderung dazu, dass Auto Loader jedes Mal, wenn er ausgeführt wird, eine vollständige Verzeichnisauflistung durchführt. Databricks rät von der Verwendung dieser Option ab. Verwenden Sie stattdessen Datei-Benachrichtigungsmodus mit Dateiereignissen.

  • CREATE VIEW Klauseln auf Spaltenebene werfen nun Fehler, obwohl die Klausel nur für materialisierte Ansichten gilt: CREATE VIEW Befehle, die eine spaltenebene Klausel spezifizieren, die nur für MATERIALIZED VIEWs gültig ist, werfen nun einen Fehler. Die betroffenen Klauseln enthalten NOT NULL, angegebene Datentypen und DEFAULTCOLUMN MASK.

Ziele mit serverloser Leistung sind allgemein verfügbar.

10. Juni 2025

Die Auswahl der serverlosen Leistungseinstellung für Aufträge und Pipelines ist jetzt allgemein verfügbar.

Wenn die Einstellung "Leistungsoptimiert " aktiviert ist, ist Ihre Workload für schnellere Start- und Ausführungszeit optimiert. Wenn sie deaktiviert ist, wird die serverlose Workload im Standardleistungsmodus ausgeführt, der für Kosten optimiert ist und eine etwas höhere Startlatenz aufweist.

Weitere Informationen finden Sie unter Auswählen eines Leistungsmodus und Auswählen eines Leistungsmodus.

Version 16.4

28. Mai 2025

Diese Serverless-Compute-Version entspricht ungefähr Databricks Runtime 16.4 LTS.

Verhaltensänderungen

  • Korrektur, um die Optionen für zwischengespeicherte Datenquellenpläne zu respektieren: Dieses Update stellt sicher, dass Tabellenlesungen die für alle Datenquellenpläne im Zwischenspeicher gesetzten Optionen respektieren, nicht nur die erste zwischengespeicherte Tabellenlesung. Zuvor hatte die Datenquellentabelle den ersten Plan zwischengespeichert, konnte jedoch bei nachfolgenden Abfragen verschiedene Optionen nicht berücksichtigen.

  • Aktivieren Sie die Flagge, um Quellmaterialisierung für MERGE-Operationen zu verlangen: Früher konnten Benutzer die Quellmaterialisierung in MERGE durch Einstellung merge.materializeSource auf nonedeaktivieren. Wenn das neue Flag aktiviert ist, ist die Materialisierung der Datenquelle immer erforderlich, und der Versuch, sie zu deaktivieren, führt zu einem Fehler. Databricks plant, dieses Flag nur für Kunden zu aktivieren, die diese Konfiguration noch nicht geändert haben, sodass die meisten Benutzer keine Verhaltensänderung erleben sollten.

Neue Funktionen

  • Auto Loader kann jetzt verarbeitete Dateien im Quellverzeichnis bereinigen: Du kannst Auto Loader jetzt anweisen, automatisch verarbeitete Dateien zu verschieben oder zu löschen. Aktivieren Sie dieses Feature mithilfe der cloudFiles.cleanSource Option "Automatisches Laden". Siehe "Allgemein" unter cloudFiles.cleanSource.

  • Typerweiterungsunterstützung für das Streaming aus Delta-Tabellen hinzugefügt: Diese Version bietet Unterstützung für das Streaming von einer Delta-Tabelle mit typerweiterten Spaltendaten sowie für das Teilen einer Delta-Tabelle mit aktivierter Typerweiterung über Databricks-to-Databricks Delta Sharing. Die Funktion zur Typerweiterung befindet sich aktuell in der öffentlichen Vorschau. Weitere Informationen finden Sie unter Typerweiterung.

  • IDENTIFIER Unterstützung jetzt in DBSQL für Katalogoperationen verfügbar: Sie können die IDENTIFIER Klausel jetzt verwenden, wenn Sie die folgenden Katalogoperationen ausführen:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Mit dieser neuen Syntax können Sie Katalognamen dynamisch mithilfe von Parametern angeben, die für diese Vorgänge definiert sind, wodurch flexiblere und wiederverwendbare SQL-Workflows ermöglicht werden. Berücksichtigen Sie CREATE CATALOG IDENTIFIER(:param) als Beispiel für die Syntax, wo param ein Parameter angegeben wird, um einen Katalognamen anzugeben. Siehe IDENTIFIER Klausel.

  • Zusammengestellte Ausdrücke liefern nun automatisch generierte transiente Aliase: Autogenerierte Aliase für zusammengestellte Ausdrücke integrieren COLLATE nun deterministisch Informationen. Automatisch generierte Aliase sind vorübergehend (instabil) und sollten nicht verwendet werden. Verwenden Sie expression AS alias stattdessen als bewährte Methode konsistent und explizit.

  • Unterstützung der Filter-Pushdown-API für Python-Datenquellen hinzufügen: Serverlose Rechenleistung unterstützt jetzt Filter-Pushdown für Batch-Lesevorgänge von Python-Datenquellen als API, ähnlich wie die SupportsPushDownFilters Schnittstelle. Siehe Versionshinweise zu 16.4 LTS.

  • Verbesserung des Python UDF Tracebacks: Das Python UDF Traceback umfasst nun Frames sowohl vom Treiber als auch vom Ausführenden zusammen mit Client-Frames, was zu besseren Fehlermeldungen führt, die größere und relevantere Details anzeigen (wie den Zeileninhalt von Frames innerhalb eines UDF).

  • UNION/EXCEPT/INTERSECT innerhalb einer Ansicht und EXECUTE IMMEDIATE liefern nun korrekte Ergebnisse zurück: Abfragen für temporäre und persistente Ansichtsdefinitionen mit Top-Level UNION//EXCEPTINTERSECT und unaliased Spalten lieferten zuvor falsche Ergebnisse, daINTERSECT UNION/EXCEPT/ Schlüsselwörter als Aliase galten. Diese Abfragen führen jetzt das gesamte Set korrekt aus.

  • Datenquellen-Cache-Plan-Konferenz- und Migrationsleitfaden: Das Lesen aus einer Dateiquellentabelle berücksichtigt korrekt Abfrageoptionen (zum Beispiel Abgrenzer). Zuvor wurde der erste Abfrageplan zwischengespeichert und nachfolgende Optionsänderungen ignoriert. Um das vorherige Verhalten wiederherzustellen, legen Sie spark.sql.legacy.readFileSourceTableCacheIgnoreOptions auf true fest.

  • Neue listagg- und string_agg-Funktionen: Ab dieser Version können Sie die Funktionen listagg oder string_agg verwenden, um Werte von BINARY und STRING innerhalb einer Gruppe zu aggregieren. Siehe string_agg.

Der Leistungsmodus kann jetzt auf serverlosen Aufträgen konfiguriert werden.

14. April 2025

Sie können nun den Leistungsmodus eines serverlosen Auftrags auswählen, indem Sie die Einstellung "Leistung optimiert " auf der Seite mit den Auftragsdetails verwenden. Bisher wurden alle serverlosen Aufträge leistungsoptimiert. Jetzt können Sie die Einstellung "Leistung optimiert " deaktivieren, um die Workload im Standardleistungsmodus auszuführen. Der Standard-Performance-Modus ist darauf ausgelegt, Kosten bei Workloads zu senken, bei denen eine etwas höhere Startlatenz akzeptabel ist.

Der Standardleistungsmodus wird für fortlaufende Pipelines, einmalige Ausführungen, die mit dem runs/submit Endpunkt erstellt wurden, oder SQL Warehouse-Auftragsaufgaben, einschließlich materialisierter Ansichten, nicht unterstützt.

Weitere Informationen zum Leistungsmodus finden Sie unter Auswählen eines Leistungsmodus.

Version 16.3

9. April 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 16.3.

Verhaltensänderungen

  • *Verbesserte Fehlermeldung, wenn kafka.sasl.client.callback.handler.class ein ungültiger Wert zugewiesen wird: Diese Version enthält eine Änderung, die eine beschreibendere Fehlermeldung zurückgibt, wenn kafka.sasl.client.callback.handler.class ein ungültiger Wert zugewiesen wird.

Neue Funktionen

  • Unterstützung für State Reader ist allgemein verfügbar: Die Unterstützung für das Auslesen von Statusinformationen bei Structured-Streaming-Abfragen ist nun auf Serverless-Compute allgemein verfügbar. Weitere Informationen finden Sie unter Lesen von strukturierten Streamingstatusinformationen.

  • Das Delta-Tabellenprotokoll-Downgrade ist GA mit Checkpoint-Schutz: DROP FEATURE ist allgemein verfügbar, um Delta-Lake-Tabellenfunktionen zu entfernen und das Tabellenprotokoll herunterzustufen. Standardmäßig erstellt DROP FEATURE jetzt geschützte Prüfpunkte für eine optimierte und vereinfachte Downgrade-Erfahrung, die keine Wartezeit oder Verlaufskürzung erfordert. Weitere Informationen finden Sie unter Löschen eines Delta Lake-Tabellenfeatures und Herabstufen des Tabellenprotokolls.

  • Prozedurale SQL-Skripte auf Basis von ANSI SQL/PSM (Public Preview) schreiben: Sie können jetzt Skriptfunktionen auf Basis von ANSI SQL/PSM nutzen, um prozedurale Logik mit SQL zu schreiben, einschließlich Control Flow-Anweisungen, lokalen Variablen und Exception Handling. Weitere Informationen finden Sie unter SQL-Skripting.

  • Standard-Kollation auf Tabellen- und Ansichtsebene: Sie können jetzt eine Standard-Kollation für Tabellen und Ansichten festlegen. Dies vereinfacht die Erstellung von Tabellen und Ansichten, bei denen alle oder die meisten Spalten dieselbe Sortierung aufweisen. Siehe Kollationierung.

  • Neue H3-Funktionen: Drei neue H3-Funktionen wurden hinzugefügt: h3_try_coverash3, h3_try_coverash3string und h3_try_tessellateaswkb.

  • Mehrere Tabellenspalten in einer Anweisung ALTER TABLE ändern: Sie können jetzt mehrere Spalten in einer einzigen ALTER TABLE Aussage ändern. Siehe ALTER TABLE ... COLUMN -Klausel.

Version 16.2

13. März 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 16.2.

Verhaltensänderungen

  • Im Delta Sharing ist der Tabellenverlauf standardmäßig aktiviert: Shares, die mit dem SQL-Befehl ALTER SHARE <share> ADD TABLE <table> erstellt wurden, haben nun standardmäßig Versionsverlauf (WITH HISTORY) aktiviert. Siehe ALTER SHARE.

  • Credential-SQL-Anweisungen geben einen Fehler zurück, wenn eine Identifikationstyp-Diskrepanz vorliegt: Wenn der in einer Credential Management SQL-Anweisung angegebene Credential-Typ nicht mit dem Typ des Credential-Arguments übereinstimmt, wird ein Fehler zurückgegeben und die Anweisung wird nicht ausgeführt.

Neue Funktionen

  • Verwenden Sie timestampdiff & timestampadd in Ausdrücken für generierte Spalten. Sie können jetzt die Funktionen timestampdiff und timestampadd in Ausdrücken für generierte Spalten in Delta Lake verwenden. Siehe Verwenden der von Delta Lake generierten Spalten.

  • Update, um DESCRIBE TABLE Metadaten als strukturiertes JSON zurückzugeben: Sie können jetzt den DESCRIBE TABLE AS JSON Befehl verwenden, um Tabellenmetadaten als JSON-Dokument zurückzugeben. Die JSON-Ausgabe ist strukturierter als der vom Benutzer lesbare Standardbericht und kann zum programmgesteuerten Interpretieren des Schemas einer Tabelle verwendet werden. Weitere Informationen finden Sie unter DESCRIBE TABLE AS JSON.

  • Sortierungen mit Ignorieren nachgestellter Leerzeichen: Serverless unterstützt jetzt Sortierungen mit Ignorieren nachgestellter Leerzeichen. Beispielsweise behandeln diese Sortierungen 'Hello' und 'Hello ' gleich. Weitere Informationen finden Sie unter RTRIM-Sortierung.

Fehlerbehebungen

  • Verbesserte Verarbeitung inkrementeller Klone: Diese Version enthält eine Korrektur für einen Randfall, bei dem ein inkrementeller CLONE Dateien, die bereits aus einer Quelltabelle in eine Zieltabelle kopiert wurden, möglicherweise erneut kopiert. Siehe Klonen einer Tabelle in Azure Databricks.

Verfügbare Einstellung für oberen Speicher auf serverlosen Notebooks (Public Preview)

7. Februar 2025

Sie können jetzt eine höhere Arbeitsspeichergröße für Ihre serverlosen Rechennotizbucharbeitslasten konfigurieren. Diese Einstellung kann sowohl auf interaktive als auch auf geplante Notizbucharbeitslasten angewendet werden.

Die serverlose Verwendung mit hohem Arbeitsspeicher hat eine höhere DBU-Emissionsrate als standardspeicher.

Weitere Informationen finden Sie unter Verwenden der serverlosen Berechnung mit hohem Arbeitsspeicher.

Version 16.1

5. Februar 2025

Dieses serverlose Compute-Release entspricht ungefähr Databricks Runtime 16.0 und Databricks Runtime 16.1.

Neue Funktionen

  • Avro-Unterstützung für rekursives Schema: Sie können jetzt die recursiveFieldMaxDepth Option mit der from_avro Funktion und der avro Datenquelle verwenden. Diese Option legt die maximale Tiefe für die Schema rekursion in der Avro-Datenquelle fest. Weitere Informationen finden Sie unter Lesen und Schreiben von Avro-Streamingdaten.
  • Erweiterte Unterstützung für das Confluent Schema Registry für Avro: Serverless unterstützt jetzt Avro-Schema-Referenz mit der Confluent Schema Registry. Weitere Informationen finden Sie unter Authentifizieren bei einer externen Schemaregistrierung von Confluent.
  • Reclustering bei Tabellen mit Liquid Clustering erzwingen: Du kannst jetzt die Syntax OPTIMIZE FULL nutzen, um das Reclustering aller Datensätze in einer Tabelle mit aktiviertem Liquid Clustering zu erzwingen. Siehe Neuclustering erzwingen.
  • Die Delta-APIs für Python unterstützen jetzt Identitätsspalten: Man kann jetzt die Delta-APIs für Python verwenden, um Tabellen mit Identitätsspalten zu erstellen. Siehe Identitätsspalten.
  • Erstellung von Liquid-Cluster-Tabellen während Streaming-Schreibvorgängen: Sie können nun clusterBy verwenden, um Liquid Clustering zu aktivieren, wenn Sie neue Tabellen mit Structured-Streaming-Schreibvorgängen erstellen. Weitere Informationen finden Sie unter Aktivieren des Liquid Clustering.
  • Unterstützung für die OPTIMIZE FULL-Klausel: Serverlose Rechenleistungen unterstützen jetzt die OPTIMIZE FULL-Klausel . Diese Klausel optimiert alle Datensätze in einer Tabelle, die flüssigen Clustering verwendet, einschließlich Daten, die zuvor gruppiert wurden.
  • Unterstützung für die WITH-Optionsspezifikation in INSERT und Tabellenreferenz: Serverless Compute unterstützt nun eine Optionsspezifikation für Tabellenreferenzen und Tabellennamen einer INSERT Anweisung, die zur Steuerung des Verhaltens von Datenquellen verwendet werden kann.
  • Neue SQL-Funktionen: Die folgenden SQL-Funktionen sind jetzt auf serverloser Berechnung verfügbar:
    • try_url_decode ist eine fehlertolerante Version von url_decode.
    • zeroifnull gibt 0 zurück, wenn der Eingabeausdruck für die zeroifnull()-Funktion NULL ist.
    • nullifzero gibt NULL zurück, wenn die Eingabe 0 ist, andernfalls die Eingabe selbst.
    • dayname(expr) gibt das dreibuchstabige englische Akronym für den Wochentag des angegebenen Datums zurück.
    • uniform(expr1, expr2 [,seed]) gibt einen gleichverteilten Zufallswert innerhalb des angegebenen Zahlenbereichs zurück.
    • randstr(length) gibt eine zufällige Zeichenkette alphanumerischer length Zeichen zurück.
  • Automatische Schema-Entwicklung beim Zusammenführen von Daten in eine Delta-Tabelle aktivieren: Für das withSchemaEvolution() Mitglied der DeltaMergeBuilder Klasse wurde Unterstützung hinzugefügt. Verwenden Sie withSchemaEvolution(), um die automatische Schemaentwicklung während MERGE Vorgängen zu aktivieren. Beispiel: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
  • Die Unterstützung für Sortierreihenfolgen in Apache Spark befindet sich in der öffentlichen Vorschau: Sie können nun STRING Spalten und Ausdrücken sprachbezogene, groß-/kleinschreibungsunabhängige und zugriffsunabhängige Sortierreihenfolgen zuweisen. Diese Sortierungen werden in Vergleichen von Zeichenfolgen, Sortiervorgängen, Gruppierungsvorgängen und vielen Zeichenfolgenfunktionen verwendet. Siehe Kollationierung.
  • Die Unterstützung für Kollierungen in Delta Lake ist in der öffentlichen Vorschau verfügbar: Sie können nun Kollierungen für Spalten definieren, wenn Sie eine Delta-Tabelle erstellen oder ändern. Weitere Informationen finden Sie unter Sortierungsunterstützung für Delta Lake.
  • LITE-Modus für Vacuum befindet sich in der öffentlichen Vorschau: Sie können jetzt VACUUM table_name LITE verwenden, um eine leichtere Vakuumoperation durchzuführen, die Metadaten im Delta-Transaktionsprotokoll nutzt. Sehen Sie Vergleich Vollmodus gegenüber Lite-Modus und VACUUM.
  • Unterstützung für die Parametrisierung der USE CATALOG with IDENTIFIER Klausel: Die IDENTIFIERKlausel wird nun für die Anweisung USE CATALOG unterstützt. Mit dieser Unterstützung können Sie den aktuellen Katalog basierend auf einer Zeichenfolgenvariablen oder Parametermarkierung parametrisieren.
  • COMMENT ON COLUMN Unterstützung für Tabellen und Ansichten: Die Erklärung COMMENT ON unterstützt nun die Änderung von Kommentaren für Ansichts- und Tabellenspalten.
  • Benannter Parameteraufruf für weitere Funktionen: Die folgenden Funktionen unterstützen benannte Parameteraufrufe:
  • Der Parameter SYNC METADATA für den REPAIR TABLE Befehl wird für den Hive-Metastore unterstützt: Sie können den Parameter jetzt mit dem REPAIR TABLE Befehl SYNC METADATA verwenden, um die Metadaten einer verwalteten Hive-Metastore-Tabelle zu aktualisieren. Siehe REPAIR TABLE.
  • Verbesserte Datenintegrität für komprimierte Apache Arrow-Batches: Um Datenkorruption weiter zu verhindern, enthält jeder LZ4 komprimierte Arrow-Batch nun die LZ4 Inhalts- und Blockprüfsummen. Weitere Informationen finden Sie unter Beschreibung des LZ4-Frameformats.
  • Eingebauter Oracle JDBC-Treiber: Serverlose Rechenleistung verfügt jetzt über den integrierten Oracle JDBC Driver. Wenn Sie ein vom Kunden hochgeladenes JDBC-Treiber-JAR über DriverManagerverwenden, müssen Sie Skripts neu schreiben, um das benutzerdefinierte JAR explizit zu verwenden. Andernfalls wird der integrierte Treiber verwendet. Dieser Treiber unterstützt nur den Lakehouse-Verbund. Für andere Anwendungsfälle müssen Sie Ihren eigenen Treiber bereitstellen.
  • Detailliertere Fehler für Delta-Tabellen, die mit Pfaden aufgerufen werden: Eine neue Fehlermeldungserfahrung für Delta-Tabellen, die über Pfade aufgerufen werden, ist jetzt verfügbar. Alle Ausnahmen werden jetzt an den Benutzer weitergeleitet. Die Ausnahme DELTA_MISSING_DELTA_TABLE ist jetzt reserviert, wenn zugrundeliegende Dateien nicht als Delta-Tabelle gelesen werden können.

Verhaltensänderungen

  • Kompatibilitätsänderung: Hosted RStudio hat das Ende des Lebenszyklus erreicht: Mit dieser Version hat der von Databricks gehostete RStudio Server das Ende des Lebenszyklus erreicht und ist in keinem Azure Databricks-Arbeitsbereich mit serverlosem Compute verfügbar. Weitere Informationen und eine Liste der Alternativen zu RStudio finden Sie unter Connect to a Databricks-hosted RStudio Server.
  • Brechende Änderung: Entfernung der Unterstützung für die Änderung bytevon , short, int und long Typen zu breiteren Typen: Um ein konsistentes Verhalten über Delta- und Apache-Iceberg-Tabellen zu gewährleisten, können die folgenden Datentypänderungen nicht mehr auf Tabellen mit aktivierter Typerweiterung angewendet werden:

    • byte, short, int und long zu decimal.
    • byte, short, und int zu double.
  • Korrekte Parsing von Regex-Mustern mit Negation in verschachtelten Zeichengruppen: Diese Version enthält eine Änderung, um das korrekte Parsen von Regex-Mustern mit Negation in verschachtelten Zeichengruppierungen zu unterstützen. Beispielsweise wird [^[abc]] als "jedes Zeichen, das NICHT eines von 'abc' ist" geparst.

    Das Verhalten von Photon war zudem im Vergleich zu Spark inkonsistent bei geschachtelten Zeichenklassen. RegEx-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist ein beliebiges Muster, das eckige Klammern in eckigen Klammern enthält, z. B. [[a-c][1-3]].

  • Erkennung doppelter Übereinstimmungen in Delta Lake MERGE verbessern:MERGE berücksichtigt nun die in der Klausel WHEN MATCHED festgelegten Bedingungen. Siehe Ausführen eines Upsert-Vorgangs in einer Delta Lake-Tabelle mithilfe von „Merge“.

  • Die Funktionalität addArtifact() ist nun konsistent über alle Rechentypen hinweg: Wenn man addArtifact(archive = True) eine Abhängigkeit zu serverloser Berechnung hinzufügt, wird das Archiv automatisch entpackt.

Fehlerbehebungen

  • Zeitzonenverschiebungen umfassen nun Sekunden, wenn sie in CSV, JSON und XML serialisiert werden: Zeitstempel mit Zeitzonenverschiebungen, die Sekunden enthalten (üblich bei Zeitstempeln von vor 1900), ließen die Sekunden bei Serialisierung in CSV, JSON und XML weg. Der Standardformatierer für den Zeitstempel wurde behoben und gibt nun die richtigen Offsetwerte für diese Zeitstempel zurück.

Andere Änderungen

  • Umbenannte Fehlercodes für die cloudFiles Strukturierte Streaming-Quelle: Die folgenden Fehlercodes wurden umbenannt:
    • _LEGACY_ERROR_TEMP_DBR_0143 wird umbenannt in CF_INCORRECT_STREAM_USAGE.
    • _LEGACY_ERROR_TEMP_DBR_0260 wird umbenannt in CF_INCORRECT_BATCH_USAGE .

Version 15.4

28. Oktober 2024

Dieses Release der serverlosen Berechnung entspricht ungefähr Databricks Runtime 15.4.

Neue Funktionen

  • UTF-8 Validierungsfunktionen: Diese Version führt folgende Funktionen zur Validierung von UTF-8-Strings ein:
    • is_valid_utf8 überprüft, ob ein String ein gültiger UTF-8-String ist.
    • make_valid_utf8 wandelt einen potenziell ungültigen UTF-8-String mithilfe von Substitutionszeichen in einen gültigen UTF-8-String um.
    • validate_utf8 meldet einen Fehler, wenn die Eingabe kein gültiger UTF-8-String ist.
    • try_validate_utf8 gibt NULL zurück, wenn die Eingabe kein gültiger UTF-8-String ist.
  • Aktivieren Sie UniForm Iceberg mit ALTER TABLE: Sie können UniForm Iceberg jetzt auf bestehenden Tabellen aktivieren, ohne Datendateien neu zu schreiben. Siehe "In einer vorhandenen Tabelle".
  • try_url_decode Funktion: Diese Version führt die try_url_decode-Funktion ein, die eine URL-kodierte Zeichenfolge dekodiert. Wenn die Zeichenfolge nicht das richtige Format hat, gibt die Funktion NULL zurück, anstatt einen Fehler zu auslösen.
  • Optional können Sie dem Optimierer zulassen, sich auf nicht erzwungene Fremdschlüssel-Beschränkungen zu stützen: Um die Leistung der Abfragen zu verbessern, können Sie nun das RELY-Schlüsselwort für FOREIGN KEY-Beschränkungen angeben, wenn Sie eine Tabelle mit CREATE oder ALTER bearbeiten.
  • Parallelisierte Jobausführungen für selektive Überschreibungen: Selektive Überschreibungen mit replaceWhere führen nun Jobs aus, die Daten löschen und neue Daten parallel einfügen, was die Abfrageleistung und die Clusternutzung verbessert.
  • Verbesserte Leistung für den Änderungsdatenfeed mit selektiven Überschreibungen: Selektive Überschreibungen mit replaceWhere bei Tabellen mit Änderungsdaten-Feed schreiben keine separaten Änderungsdatendateien mehr für eingefügte Daten. Diese Vorgänge verwenden eine ausgeblendete _change_type-Spalte, die in den zugrunde liegenden Parquet-Datendateien vorhanden ist, um Änderungen ohne Schreibverstärkung aufzuzeichnen.
  • Verbesserte Abfragelatenz für den COPY INTO Befehl: Diese Version enthält eine Änderung, die die Abfragelatenz für den COPY INTO Befehl verbessert. Diese Verbesserung wird umgesetzt, indem das Laden des Zustands im RocksDB-Zustandsspeicher asynchron erfolgt. Dank dieser Änderung sollten Sie eine Verbesserung der Startzeiten für Abfragen mit großen Zuständen feststellen, wie Abfragen mit einer großen Anzahl bereits erfasster Dateien.
  • Unterstützung für das Entfernen des Tabellen-Features für Prüfbeschränkungen: Man kann das checkConstraints Tabellen-Feature nun mit ALTER TABLE table_name DROP FEATURE checkConstraints aus einer Delta-Tabelle entfernen. Siehe Check-Einschränkungen entfernen.

Verhaltensänderungen

  • Änderung der Schema-Bindung für Views: Wenn sich die Datentypen in der zugrunde liegenden Abfrage einer View von denen ändern, die bei der Erstellung der View verwendet wurden, wirft Databricks keine Fehler mehr für Referenzen auf die View, wenn kein Safe Cast ausgeführt werden kann.

    Stattdessen wird nach Möglichkeit mit regulären Umwandlungs-Regeln ausgeglichen. Diese Änderung ermöglicht es Databricks, Tabellenschemaänderungen besser zu tolerieren.

  • Undokumentierte ! Syntaxtoleranz für NOT außerhalb der booleschen Logik wird verboten: Databricks toleriert die Verwendung von ! als Synonym für NOT außerhalb der booleschen Logik nicht mehr. Diese Änderung vermindert Verwirrung, entspricht dem SQL-Standard und macht SQL portierbarer. Beispiel:

    CREATE ... IF ! EXISTS, IS ! NULL, ! NULL-Spalten- oder Feldeigenschaft, ! IN und ! BETWEEN muss ersetzt werden durch:

    CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL Spalten- oder Feldeigenschaft, NOT IN und NOT BETWEEN.

    Der booleschen Präfixoperator! (z. B. !is_mgr oder !(true AND false)) ist von dieser Änderung nicht betroffen.

  • Nicht dokumentierte und unverarbeitete Teile der Spaltendefinitionssyntax in Views verbieten: Databricks unterstützt CREATE VIEW mit benannten Spalten und Spaltenkommentaren.

    Die Spezifikation von Spaltentypen, NOT NULL-Einschränkungen oder DEFAULT wurde in der Syntax toleriert, ohne dass dies Folgen hat. Databricks entfernt diese Syntaxtoleranz. Dies reduziert Verwirrung, entspricht dem SQL-Standard und ermöglicht zukünftige Verbesserungen.

  • Konsistente Fehlerbehandlung für die Base64-Dekodierung in Spark und Photon: Diese Veröffentlichung ändert, wie Photon mit Base64-Dekodierungsfehlern umgeht, um mit der Spark-Behandlung dieser Fehler übereinzustimmen. Vor diesen Änderungen konnte der Photon- und Spark-Codegenerierungspfad manchmal keine Analyseausnahmen auslösen, während die Spark-Ausführung richtigerweise IllegalArgumentException oder ConversionInvalidInputError auslöste. Mit diesem Update wird sichergestellt, dass Photon bei Base64-Decodierungsfehlern konsistent dieselben Ausnahmen auslöst wie Spark, was eine vorhersehbarere und zuverlässigere Fehlerbehandlung ermöglicht.

  • Das Hinzufügen einer CHECK-Einschränkung für eine ungültige Spalte gibt nun die Fehlerklasse UNRESOLVED_COLUMN.WITH_SUGGESTION zurück: Um nützlichere Fehlermeldungen bereitzustellen, gibt in Databricks Runtime 15.3 und höher eine ALTER TABLE ADD CONSTRAINT-Anweisung, die eine CHECK-Einschränkung enthält, die auf einen ungültigen Spaltennamen verweist, die UNRESOLVED_COLUMN.WITH_SUGGESTION-Fehlerklasse zurück. Zuvor wurde INTERNAL_ERROR zurückgegeben.

Das JDK wird von JDK 8 auf JDK 17 geupgradet.

15. August 2024

Serverloses Computing für Notebooks und Workflows wurde von Java Development Kit (JDK) 8 auf Serverseite zu JDK 17 migriert. Dieses Upgrade umfasst die folgenden Verhaltensänderungen:

  • Korrekte Parsing von Regex-Mustern mit Negation in verschachtelten Zeichengruppen: Mit diesem Upgrade unterstützt Azure Databricks nun das korrekte Parsen von Regex-Mustern mit Negation in verschachtelten Zeichengruppen. Beispielsweise wird [^[abc]] als "jedes Zeichen, das NICHT eines von 'abc' ist" geparst.

    Das Verhalten von Photon war zudem im Vergleich zu Spark inkonsistent bei geschachtelten Zeichenklassen. RegEx-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist ein beliebiges Muster, das eckige Klammern in eckigen Klammern enthält, z. B. [[a-c][1-3]].

Version 15.1

23. Juli 2024

Dieses serverlose Computingrelease entspricht ungefähr Databricks Runtime 15.1

Neue Funktionen

Unterstützung für die Star-(*)-Syntax in der WHERE Klausel: Sie können jetzt die Star-(*)-Syntax in der WHERE Klausel verwenden, um alle Spalten aus der SELECT Liste zu referenzieren.

Beispiel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Changes

Verbesserte Fehlerwiederherstellung für JSON-Parsing: Der JSON-Parser, der für from_json() und JSON-Pfad-Ausdrücke verwendet wird, erholt sich nun schneller von fehlgeleiteter Syntax, was zu weniger Datenverlust führt.

Bei falsch formatierter JSON-Syntax in einem Strukturfeld, einem Arraywert, einem Schlüssel oder einem Wert gibt der JSON-Parser NULL jetzt nur für das unlesbare Feld, den Schlüssel oder das Element zurück. Nachfolgende Felder, Schlüssel oder Elemente werden ordnungsgemäß analysiert. Vor dieser Änderung hat der JSON-Parser die Analyse des Arrays, der Struktur oder der Zuordnung abgebrochen und für den verbleibenden Inhalt NULL zurückgegeben.

Version 14.3

15. April 2024

Dies ist die Anfangsversion für serverloses Computing. Diese Version entspricht ungefähr Databricks Runtime 14.3 mit einigen Änderungen, um die Unterstützung für einige nicht serverlose und Legacy-Features zu entfernen.

Unterstützte Spark-Konfigurationsparameter

Um die Konfiguration von Spark bei serverlosem Computing zu automatisieren, hat Azure Databricks die Unterstützung für die manuelle Einstellung der meisten Spark-Konfigurationen entfernt. Eine Liste der unterstützten Spark-Konfigurationsparameter finden Sie unter Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge.

Aufträge auf serverlosen Ressourcen schlagen fehl, wenn Sie eine nicht unterstützte Spark-Konfiguration festlegen.

input_file-Funktionen sind veraltet.

Die Funktionen input_file_name(), input_file_block_length() und input_file_block_start() wurden ausgemustert. Von der Verwendung dieser Funktionen wird dringend abgeraten.

Verwenden Sie stattdessen die Spalte mit Dateimetadaten, um Dateimetadaten abzurufen.

Verhaltensänderungen

Die Version 2024.15 des serverlosen Computing enthält folgende Verhaltensänderungen:

  • unhex(hexStr) Fehlerbehebung: Bei Verwendung der unhex(hexStr) Funktion wird hexStr immer links auf ein ganzes Byte gepolstert. Zuvor wurde das erste halbe Byte von der unhex-Funktion ignoriert. Beispiel: unhex('ABC') erzeugt jetzt x'0ABC' anstatt x'BC'.
  • Automatisch generierte Spaltenaliase sind nun stabil: Wenn das Ergebnis eines Ausdrucks ohne benutzerdefiniertes Spaltenalias referenziert wird, ist dieses automatisch generierte Alias nun stabil. Der neue Algorithmus führt möglicherweise zu einer Änderung der zuvor automatisch generierten Namen, die in Features wie materialisierten Ansichten verwendet werden.
  • Tabellenscans mit CHAR Typfeldern sind nun immer gepolstert: Delta-Tabellen, bestimmte JDBC-Tabellen und externe Datenquellen speichern CHAR-Daten in nicht gepolsterter Form. Beim Lesen werden die Daten von Azure Databricks jetzt mit Leerzeichen auf die deklarierte Länge aufgefüllt, um eine korrekte Semantik sicherzustellen.
  • Casts von BIGINT/DECIMAL zu TIMESTAMP erzeugen eine Ausnahme für überlaufene Werte: Azure Databricks erlaubt das Casting von BIGINT und DECIMAL zu TIMESTAMP, indem der Wert als Sekundenzahl aus der Unix-Epoche behandelt wird. Zuvor wurden von Azure Databricks übergelaufene Werte zurückgegeben. Nun wird jedoch im Falle eines Überlaufs eine Ausnahme ausgelöst. Verwenden Sie try_cast, um NULL anstelle einer Ausnahme zurückzugeben.
  • Die Ausführung von PySpark UDF wurde verbessert, damit sie dem exakten Verhalten der UDF-Ausführung auf dedizierten Compute-Ressourcen entspricht: Die folgenden Änderungen wurden vorgenommen:
    • Von UDFs mit einem Zeichenfolgen-Rückgabetyp werden nicht mehr implizit zeichenfolgenfremde Werte in Zeichenfolgen konvertiert. Zuvor wurde von UDFs mit dem Rückgabetyp str unabhängig vom tatsächlichen Datentyp des zurückgegebenen Werts ein str(..)-Wrapper auf das Ergebnis angewendet.
    • Von UDFs mit Rückgaben vom Typ timestamp wird implizit keine Zeitzonenkonvertierung mehr auf Zeitstempel angewendet.