Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In diesem Artikel werden die Features und Verhaltensweisen erläutert, die derzeit für serverloses Computing für Notebooks und Aufträge verfügbar und geplant sind.
Weitere Informationen zu serverlosem Computing finden Sie unter Herstellen einer Verbindung mit serverlosem Computing.
Azure Databricks veröffentlicht regelmäßig Updates für serverloses Computing und upgradet automatisch die Runtime für serverloses Computing, um Verbesserungen und Upgrades auf der Plattform zu unterstützen. Alle Benutzenden erhalten innerhalb eines kurzen Zeitraums die gleichen Updates.
Serverlose Umgebungsversionen
Serverlose Berechnung für Notizbücher und Aufträge verwendet Umgebungsversionen, die eine stabile Client-API basierend auf Spark Connect bereitstellen, um die Anwendungskompatibilität sicherzustellen. Auf diese Weise können Databricks den Server unabhängig aktualisieren, Leistungsverbesserungen, Sicherheitsverbesserungen und Fehlerbehebungen bereitstellen, ohne dass Codeänderungen an Workloads erforderlich sind.
Jede Umgebungsversion enthält eine bestimmte Python-Version und eine Reihe von Python-Paketen mit definierten Versionen. Databricks führt neue Features und Korrekturen in der neuesten Umgebungsversion ein, während Sicherheitsupdates auf alle unterstützten Umgebungsversionen angewendet werden.
Versionshinweise zu Versionen serverloser Umgebungen finden Sie unter Umgebungsversionen.
Versionshinweise
Dieser Abschnitt enthält Versionshinweise für serverloses Computing. Versionshinweise sind nach Jahr und Woche des Jahres strukturiert. Serverloses Computing wird immer mit dem zuletzt veröffentlichten Release ausgeführt, das hier aufgeführt ist.
- DataFrame-Caching auf serverless Compute ist jetzt in Public Preview verfügbar
- 19. Oktober 2026
- 21. September 2026
- 31. August 2026
- 24. August 2026
- 17. August 2026
- JAR-Aufgaben auf serverloser Berechnung sind jetzt allgemein verfügbar
- Serverlose Rechenzugriffskontrolle ist jetzt allgemein verfügbar
- 6. Juli 2026
- Version 18.2
- Version 18.1
- Version 18.0
- Serverless-Umgebung, Version 5 ist jetzt verfügbar
- Version 17.3
- Version 17.2
- Version 17.1
- Serverless-Umgebung Version 4
- Version 17.0
- Serverless-Leistungsziele sind allgemein verfügbar
- Version 16.4
- Der Leistungsmodus ist jetzt auf serverlosen Jobs konfigurierbar
- Version 16.3
- Version 16.2
- Hohe Speichereinstellung für serverlose Notebooks verfügbar (öffentliche Vorschau)
- Version 16.1
- Version 15.4
- Der JDK wurde von JDK 8 auf JDK 17 aufgewertet
- Version 15.1
- Version 14.3
DataFrame-Caching auf serverless Compute ist jetzt in Public Preview verfügbar
23. Oktober 2026
DataFrame-Caching auf serverloser Rechenkapazität ist jetzt in Public Preview verfügbar. Du kannst einen DataFrame mit df.cache() oder df.persist() auf serverlosem Computing cachen, um ein teures Ergebnis für den Rest deiner Sitzung wiederzuverwenden. Caching erfordert eine serverlose Umgebung Version 5 oder höher, Databricks Connect für Python 18.1.8 oder höher oder Databricks Connect für Scala 18.1.5 oder höher. Die Vorschau ist für die meisten Arbeitsbereiche standardmäßig aktiviert. Workspace-Administratoren können es über die Previews-Seite deaktivieren. Weitere Informationen finden Sie unter DataFrames auf serverlosem Compute zwischenspeichern.
19. Oktober 2026
19. Oktober 2026
Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.
Verhaltensänderungen
-
Spark Connect Ausführungsmetriken verbergen Details zu Zeilenfiltern und Spaltenmasken: DataFrame-Ausführungsmetriken verbergen nun interne Operatoren und Metriken, die mit Zeilenfiltern und Spaltenmasken verbunden sind. Dies schützt Informationen über die Ausführung der Richtlinie beim Inspizieren von
df.executionInfo.metrics, einschließlich der Textdarstellung. Die Grenze des geschützten Teils des Plans und dessen eigene Kennzahlen bleiben sichtbar. Die Abfrageergebnisse bleiben unverändert. Notebooks oder Werkzeuge, die auf detaillierten Kennzahlen innerhalb geschützter Unterpläne angewiesen sind, müssen möglicherweise aktualisiert werden.
21. September 2026
21. September 2026
Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.
Neue Funktionen
truncate-Funktion: Dietruncate-Funktion führt eine Verkürzung einer Zahl ohne Rundung auf eine angegebene Skalierung durch.trim_arrayFunktion: Dietrim_arrayFunktion entfernt die angegebene Anzahl von Elementen am Ende eines Arrays.
31. August 2026
31. August 2026
Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.
Neue Funktionen
Der automatische Änderungsdatenfeed ist allgemein verfügbar: Der automatische Änderungsdatenfeed (Auto CDF) berechnet Änderungen auf Zeilenebene zur Abfragezeit. Es funktioniert mit Batch-Abfragen, strukturiertem Streaming und Delta Sharing und erfordert Zeilenverfolgung. Siehe "Datenfeed für automatische Änderung".
parse_sqlFunktion: Dieparse_sqlFunktion parselt eine SQL-Anweisung und liefert strukturiertes JSON zurück, das Anweisungsmetadaten, Tabellenreferenzen, Auswahllisten-Ausdrücke oder Parserfehlerinformationen enthält.
Verhaltensänderungen
from_protobufüberspringt fehlgebildete, nicht ausgewählte Felder, wenn das Schema-Pruning aktiviert ist: Wenn Protobuf-Schema-Pruning aktiviert ist,from_protobufwird keine Felder mehr dekodiert oder validiert, die eine Abfrage nicht ausgewählt hat. Ein fehlerhaftes, nicht ausgewähltes Feld nulliert die Zeile imPERMISSIVEModus nicht mehr und scheitert nicht mehr an der Abfrage im ModusFAILFAST.JDBC Pushdown verarbeitet Null-Literale korrekt: Data Source v2 JDBC Pushdown gibt jetzt das SQL-Literal
NULLstatt des Strings'null'aus. Abfragen, die Ausdrücke wieNULLIFgruppieren, erzeugen jetzt eine NULL-Gruppe anstelle einer separaten'null'String-Gruppe.HTTP- und KI-Funktionen folgen keinen Weiterleitungen mehr:
http_requestund KI-Funktionen folgen nicht mehr HTTP-3xx-Weiterleitungen. Aufrufe, die eine Weiterleitung erhalten, geben nun einen entfernten HTTP-Fehler für den Weiterleitungsstatus zurück. Downloads des Dateiquellen-Konnektors sind nicht betroffen.
24. August 2026
24. August 2026
Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.
Neue Funktionen
-
collect_unionAggregatfunktion: Diecollect_unionAggregatfunktion gibt die distinkte Vereinigung der Elemente in Arrays innerhalb jeder Gruppe zurück.
Verhaltensänderungen
HAVINGwird vor Fensterfunktionen in Abfragen mit Generatoren ausgewertet: Für Abfragen, die Generatoren enthalten, wieexplode, werden Fensterfunktionen nun nach demHAVINGFilter ausgewertet. Fensterergebnisse enthalten daher nur Zeilen, die vonHAVINGbeibehalten werden.Die Richtlinienlogik ist standardmäßig in Abfrageplänen versteckt: Abfragepläne legen keine Zeilenfilter- und Spaltenmasken-Richtlinienlogik mehr offen, es sei denn, der Benutzer hat das
INSPECT_POLICY_EXECUTIONMetastore-Recht.Delta API DML verwendet die Richtlinien-Definiererrechte:
DeltaTable.delete,DeltaTable.update, undDeltaTable.mergelöst nun Zeilenfilter- und Spaltenmasken-Richtlinienfunktionen mit den Rechten des Richtliniendefinierers auf, entsprechend SQL DML. Aufrufer müssenEXECUTEdiese Richtlinienfunktionen nicht mehr verwenden, wenn sie über die erforderlichen Tabellenberechtigungen verfügen.
17. August 2026
17. August 2026
Diese serverlose Compute-Version enthält Updates von Databricks Runtime 19.
Neue Funktionen
is_valid_variantFunktion: Dieis_valid_variantFunktion gibt zurück,truewenn die Eingabe ein wohlgeformterVARIANTWert ist undfalseandernfalls. Nutze es, um Variantendaten vor der nachgelagerten Verarbeitung zu validieren.DataFrameGroupBy.covundSeriesGroupBy.describein der pandas-API auf Spark: Die pandas-API auf Spark unterstütztDataFrameGroupBy.covnun , die die paarweise Kovarianz der Spalten innerhalb jeder Gruppe berechnet, undSeriesGroupBy.describe, die beschreibende Statistiken für jede Gruppe erzeugt.pa.ChunkedArrayUnterstützung increateDataFrame:createDataFrame()verarbeitet jetzt pandas Dataframes mit PyArrow-SpaltenChunkedArrayund verhindert Typfehler, wenn man Arrow-gestützte pandas-Daten verwendet.
JAR-Aufgaben auf serverloser Berechnung sind jetzt allgemein verfügbar
6. August 2026
Paketiere Scala- oder Java-Code als JAR und führe ihn als Aufgabe in einem Lakeflow-Job auf serverloser Berechnung aus. Ihr JAR muss mit den Scala-, Java Development Kit (JDK) und Databricks Connect-Versionen Ihrer serverlosen Umgebung übereinstimmen. Siehe JARs auf serverloser Rechenleistung erstellen und ausführen.
Serverlose Rechenzugriffskontrolle ist jetzt allgemein verfügbar
3. August 2026
Serverlose Rechenzugriffskontrolle ist jetzt allgemein verfügbar. Workspace-Administratoren können steuern, wer serverlose Workloads über zwei integrierte serverlose Compute-Objekte ausführt: Default Interactive Compute (steuert den Zugriff auf Notebooks und Databricks Connect) und Default Automated Compute (steuert den Zugriff auf Jobs und Spark Declarative Pipelines auf Lakeflow). Alle Workspace-Nutzer haben standardmäßig Can Use auf beiden Objekten, sodass bestehende Workloads weiterhin ohne Änderungen ausgeführt werden.
Siehe Serverlose Rechenleistung verwalten.
6. Juli 2026
6. Juli 2026
Diese serverlose Computeversion enthält Updates von Databricks Runtime 18.
Neue Funktionen
Spark Declarative Pipelines on Lakeflow Streaming Query ID: Spark Declarative Pipelines on Lakeflow kann nun die Streaming-Abfrage-ID auf Abruf festlegen.
IP-Adressfunktionen (öffentliche Vorschau): Neue SQL-Funktionen sind für die Arbeit mit IPv4- und IPv6-Adressen sowie CIDR-Blöcken verfügbar, darunter
ip_host,ip_cidr,ip_version,ip_prefix_length,ip_as_binary,ip_cidr_contains,ip_as_string,ip_network,ip_network_lastundtry_*Varianten für nullsicheres Verhalten. Siehe ip_host und verwandte Funktionen.On-Demand-Zustands-Repartitionierung (öffentliche Vorschau): Structured Streaming unterstützt nun das Ändern der Anzahl der Mischpartitionen für zustandsbehaftete Abfragen, ohne den Checkpoint-Status zu verlieren. Siehe On-Demand-Zustandsumpartitionierung für zustandsbehaftete Streamingabfragen.
Verhaltensänderungen
CREATE OR REPLACE TABLEBehält Kommentare bei:CREATE OR REPLACE TABLEErhält nun standardmäßig bestehende Kolumnen- und Tabellenkommentare. Zuvor wurden Kommentare beim Erneuten Erstellen einer Tabelle gelöscht. Verwaltete Tabellen und Ansichten entsprechen nun dem vorhandenen Verhalten materialisierter Ansichten und Streamingtabellen.DataFrame-Schreibvorgänge nach Namen wandeln kompatible Spalten um:
writeTo().append(),writeTo().overwrite(),writeTo().overwritePartitions()undwrite.mode("append").saveAsTable()wandeln nun automatisch typkompatible Spalten (zum Beispielintinlong) um, damit sie dem Zielschema der Delta-Tabelle entsprechen. Zuvor schlugen diese Vorgänge mit einemDELTA_FAILED_TO_MERGE_FIELDS-Fehler fehl, wenn Spaltentypen kompatibel, aber nicht identisch waren. Das Verhalten stimmt jetzt mit SQLINSERT INTO ... BY NAMEüberein.ALTER TABLE SET TBLPROPERTIESfürpipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')versucht nun, die spezifizierte Tabelle durch die Pipeline schreibfähig zu machen. Das Festlegen dieser Eigenschaft auf eine normale Tabelle hatte bisher keine Auswirkung. Wenn die Tabelle nicht für Pipeline-Schreibvorgänge geeignet ist, löst der BefehlSETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTEDaus.DESCRIBE EXTENDED AS JSONEnthält Ergebnisse der prädiktiven Optimierung:DESCRIBE EXTENDED ... AS JSONEnthält nun die Ergebnisse der prädiktiven Optimierungsbewertung in ihrem Output. Zuvor wurden diese Informationen nicht in der JSON-Ausgabe zurückgegeben.Messwerte im Metrik-Ansichtsfenster liefern korrekte Ergebnisse: Messwerte im Metrik-Ansichtsfenster liefern nun korrekte Ergebnisse, wenn Abfragen
GROUP BY,IN/BETWEEN-Filter oder gemischte Prädikate auf die Sortierspalte des Fensters verwenden. Bisher konnten diese Filtermuster falsche Ergebnisse erzielen.Structured Streaming Deduplizierung mit
NaNKeys: Structured Streaming Deduplizierung behandeltNaNnun (Not-a-Number) Werte mit unterschiedlichen Bitmustern als Duplikate, wenn einedoubleoderfloatSpalte als Deduplizierungsschlüssel verwendet wird.NaNZuvor wurden Werte mit unterschiedlichen internen Darstellungen als eindeutig behandelt und nicht dedupliziert.NATURAL JOINGroß-/Kleinschreibung-unabhängiger Spaltenabgleich:NATURAL JOINgleicht gemeinsame Spalten jetzt ohne Beachtung der Groß-/Kleinschreibung ab, was mit dem äquivalentenUSINGJoin übereinstimmt. Zuvor wurde beim Spaltenabgleich zwischen Groß- und Kleinschreibung unterschieden, sodass Spalten, die sich nur in der Groß-/Kleinschreibung unterschieden (z. B.IDvs.id), nicht als gemeinsame Spalten erkannt wurden, was zu einer automatischen Kreuzverknüpfung anstelle der erwarteten Gleichheitsverknüpfung führte.
Version 18.2
13. Mai 2026
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 18.2.
Neue Funktionen
CREATE OR REPLACEUnterstützung für temporäre Tabellen:CREATE OR REPLACE TEMP TABLESyntax wird jetzt unterstützt, sodass Sie temporäre Tabellen in einer einzigen Anweisung erstellen oder ersetzen können. Dadurch ist es nicht erforderlich, temporäre Tabellen explizit abzulegen und neu zu erstellen.agg()Alias fürmeasure()Funktion:agg()ist jetzt als Alias für die Funktionmeasure()verfügbar. Diese Änderung ist vollständig abwärtskompatibel. Vorhandene Abfragen, diemeasure()verwenden, funktionieren weiterhin ohne Änderung.agg()erzeugt identische Ergebnisse, wenn es mit denselben Argumenten verwendet wird.Snowflake JDBC-Treiber-Upgrade: Der Snowflake JDBC-Treiber wurde von 3.22.0 auf 3.28.0 aktualisiert.
pyspark.pipelines.testingNamespace-Alias:pyspark.pipelines.testingist jetzt als Convenience-Alias fürdlt.testingAPIs verfügbar. Importieren Sie Spark Declarative Pipelines über einen der beiden Namespaces in die Lakeflow-Dienstprogramme zum Testen von Pipelines.Die Delta-Tabellenhistorie enthält Schreiboption-Flags: Die Delta-Tabellenhistorie (
DESCRIBE HISTORY) umfasst nun Schreib-Option-Flags in der SpalteoperationParametersfürWRITE- undREPLACE TABLE-Operationen. Wenn die folgenden Optionen explizit aktiviert sind, werden sie als boolesche Flags im Verlauf angezeigt (nur in folgendentrueFällen enthalten):Für
WRITEundREPLACE TABLEVorgänge:-
isDynamicPartitionOverwrite: vorhanden, wenn der Dynamische Partitionsüberschreibmodus verwendet wurde -
canOverwriteSchema: vorhanden, wenn das Schema überschreiben (overwriteSchema) aktiviert wurde -
canMergeSchema: vorhanden, wenn die Schemazusammenführung (mergeSchema) aktiviert wurde
Für
REPLACE TABLEVorgänge:-
predicate: vorhanden, wannreplaceWhereverwendet wurde -
isV1WriterSaveAsTableOverwrite: vorhanden, wenn die Ersetzung durch eine.saveAsTableÜberschreibung ausgelöst wurde
-
Daten mit
replaceUsing- undreplaceOn-DataFrame-APIs selektiv ersetzen: DiereplaceOn- undreplaceUsing-Optionen in den Scala- und Python-DataFrame-APIs sind jetzt allgemein verfügbar. Verwenden Sie diese Optionen, um einen Teil der Tabelle durch das Ergebnis eines DataFrames zu ersetzen.replaceOnersetzt Zeilen, die einer benutzerdefinierten Bedingung entsprechen.replaceUsingersetzt Zeilen, in denen die angegebenen Spalten gleich sind. Diese APIs ergänzen dieINSERT REPLACE ONundINSERT REPLACE USINGSQL-Anweisungen. Weitere Informationen finden Sie unter Selektives Überschreiben von Daten mit Delta Lake.
Verhaltensänderungen
NULL-Struct-Erhaltung in INSERT, MERGE und Streaming-Schreibvorgänge mit Schema-Evolution: Für
INSERT,MERGEund Streaming-Schreibvorgänge, die Schema-Evolution verwenden, wird eine NULL-Struktur in der Quelle nun als NULL im Ziel gespeichert. Zuvor wurde dieser Wert fälschlicherweise als eine Nicht-Null-Struktur materialisiert, bei der jedes Feld auf NULL gesetzt wurde, während dieselben Vorgänge ohne Schema-Evolution ordnungsgemäß NULL-Strukturen beibehalten haben. Wenn ihr Code auf dem Empfang einer Nicht-Null-Struktur basiert, deren Felder alle NULL waren, aktualisieren Sie den Code stattdessen, um eine NULL-Struktur zu behandeln.Fix für das Verwerfen von Zeilen bei
LEFT OUTER JOIN LATERAL: Ein Fehler, durch den Zeilen beiLEFT OUTER JOIN LATERAL-Abfragen fälschlicherweise verworfen wurden, wurde nun behoben. Abfragen, die dieses Konstrukt verwenden, geben jetzt die richtigen Ergebnisse zurück. Um vorübergehend zum vorherigen Verhalten zurückzukehren, setzen Siespark.databricks.sql.optimizer.lateralJoinPreserveOuterSemanticauftrue.NATURAL JOINberücksichtigt Groß-/Kleinschreibung nicht berücksichtigende Spaltenabgleiche:NATURAL JOINverwendet nun korrekt Groß-/Kleinschreibung nicht berücksichtigende Spaltenabgleiche, wennspark.sql.caseSensitiveauffalsegesetzt ist (die Standardeinstellung). Früher verwendeteNATURAL JOINeinen fallsensitiven Vergleich, um allgemeine Spalten zu identifizieren, was dazu führte, dass Spalten, die sich nur in Groß- und Kleinschreibung unterschieden (z. B.IDversusid), nicht als übereinstimmend erkannt wurden. Dies führte dazu, dassNATURAL JOINautomatisch Cross-Join-Ergebnisse erzeugt hat. Diese Korrektur stimmt dasNATURAL JOIN-Verhalten mitUSINGVerknüpfungen ab, die die Groß-/Kleinschreibung bereits korrekt nicht berücksichtigen. Von diesem Fehler betroffene Abfragen geben jetzt korrekte Ergebnisse mit ordnungsgemäß verknüpften Spalten zurück.SQL UDF-Abhängigkeitsvalidierung im Unity Catalog: Unity Catalog erzwingt nun die Abhängigkeitsvalidierung für benutzerdefinierte SQL-Funktionen (UDFs), um Zugriffskontrollumgehungen zu verhindern. Zuvor konnten sql-Funktionen, die über die REST-API erstellt wurden, auf Abhängigkeiten verweisen, auf die der Benutzer nicht zugreifen konnte. SQL UDFs mit ungültigen Abhängigkeitskonfigurationen werden jetzt von der Ausführung blockiert.
AWS SDK v1 Abhängigkeiten sind schattiert: AWS SDK v1 Abhängigkeiten, die mit der Azure Databricks Laufzeit gebündelt sind, sind jetzt schattiert und nicht mehr direkt auf dem Classpath verfügbar. Wenn Ihr Code von aws SDK v1-Bibliotheken abhängt, die zuvor von der Azure Databricks Laufzeit bereitgestellt wurden, fügen Sie sie als explizite Abhängigkeiten in Ihrem Projekt hinzu. Diese Änderung bereitet sich auf die Migration zu AWS SDK v2 vor, nachdem der AWS-Support für SDK v1 beendet wurde.
Beheben Sie falsche EPSG-Autorität für ESRI-definierte SRID 102100: Die Koordinatenreferenzsystem-(CRS)-Abbildung für SRID 102100 verwendet
ESRI:102100jetzt korrekt statt des falschenEPSG:102100. Dieser Fix stellt sicher, dass Geospatialdaten mit der richtigen Autorität gespeichert werden, um eine bessere Interoperabilität mit anderen Systemen zu ermöglichen.
Version 18.1
20. April 2026
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 18.1.
Neue Funktionen
DATETIMEOFFSET Datentyp-Unterstützung für Microsoft Azure Synapse: Der
DATETIMEOFFSETDatentyp wird für Microsoft Azure Synapse-Verbindungen unterstützt.Google BigQuery-Tabellenkommentare: Google BigQuery-Tabellenbeschreibungen werden aufgelöst und als Tabellenkommentare offengelegt.
JDBC-Verbindung: Verwenden Sie eine JDBC-Verbindung , um eine Datenquelle mit der Spark Data Source API oder der Databricks Remote Query SQL API zu lesen und zu schreiben.
Schemaentwicklung mit INSERT Anweisungen: Verwenden Sie die
WITH SCHEMA EVOLUTIONKlausel mit SQL-Anweisungen INSERT , um das Schema der Zieltabelle während der Einfügungsoperationen automatisch weiterzuentwickeln. Die Klausel wird fürINSERT INTO,INSERT OVERWRITEundINSERT INTO ... REPLACE-Formulare unterstützt. Siehe Schemaentwicklung.Erhaltene NULL-Strukturwerte in INSERT Operationen:
INSERTOperationen mit Schema-Entwicklung oder impliziter Casting, erhaltenNULLStrukturwerte, wenn Quell- und Zieltabellen unterschiedliche Strukturfeldordnungen aufweisen.Unterstützung für Multi-Statement-Transaktionen bei Delta Sharing: Delta Sharing-Tabellen, die vorsignierte URL- oder Cloud-Token-Sharing-Modi verwenden, unterstützen Multi-Statement-Transaktionen. Beim ersten Zugriff innerhalb einer Transaktion wird die Tabellenversion angeheftet und für alle nachfolgenden Lesevorgänge in dieser Transaktion wiederverwendet. Zeitreisen, Datenfeeds ändern und Streaming werden nicht unterstützt.
parse_timestampSQL-Funktion: Die parse_timestamp SQL-Funktion parst Zeitstempel-Strings mithilfe mehrerer Muster. Die Funktion wird auf dem Photon-Modul ausgeführt, um die Leistung zu verbessern.max_byundmin_bymit optionaler Begrenzung: Die aggregierten Funktionen max_by und min_by akzeptieren nun ein optionales drittes Argumentlimit(bis zu 100.000), das ein Array von Top- oder Bottom-K-Werten ohne Fensterfunktionen oder CTEs zurückgibt.Vektoraggregat- und Skalarfunktionen: Neue SQL-Funktionen arbeiten mit
ARRAY<FLOAT>Vektoren zur Einbettung und Ähnlichkeits-Workloads, darunter vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm und vector_normalize. Siehe integrierte Funktionen.Unterstützung von SQL-Cursorn in zusammengesetzten Anweisungen: SQL-Skripting-zusammengesetzte Anweisungen unterstützen nun die Cursor-Verarbeitung. Verwenden Sie DECLARE CURSOR, um einen Cursor zu definieren, dann OPEN statement, FETCH statement, und CLOSE statement, um die Abfrage auszuführen und die Zeilen einzeln zu verarbeiten.
Approximative Top-K-Skizzenfunktionen: Neue Funktionen ermöglichen das Erstellen und Kombinieren von approximativen Top-K-Skizzen für verteilte Top-K-Aggregation: approx_top_k_accumulate, approx_top_k_combine und approx_top_k_estimate. Siehe
approx_top_kAggregatfunktion.Tuple-Skizzenfunktionen: Neue Aggregat- und Skalarfunktionen für Tuple-Skizzen unterstützen das Zählen unterschiedlicher Werte und die Aggregation über Schlüssel-Zusammenfassungspaare. Siehe integrierte Funktionen.
Neue georäumliche Funktionen: Folgende georäumliche Funktionen sind jetzt verfügbar:
-
st_estimatesridfunktion: Schätzt den am besten projizierten Räumlichen Referenzbezeichner (SRID) für eine Eingabegeometrie. -
st_force2dFunktion: Wandelt eine Geografie oder Geometrie in die 2D-Darstellung um. -
st_nringsFunktion: Zählt die Gesamtanzahl der Ringe in einem Polygon oder Multipolygon, einschließlich Außen- und Innenringen. -
st_numpointsfunktion: Zählt die Anzahl der nicht leeren Punkte in einer Geografie oder Geometrie.
-
Photon-Unterstützung für georäumliche Funktionen:
st_differenceFunktion,st_intersectionFunktion undst_unionFunktion laufen jetzt auf der Photon-Engine für schnellere Leistung.
Verhaltensänderungen
Fehler bei Beobachtungsmetriken lassen Abfragen nicht mehr fehlschlagen: Fehler während der Sammlung von Beobachtungsmetriken verursachen keine Abfrageausführungsfehler mehr. Bisher konnten Fehler in
OBSERVEKlauseln (z. B. Division durch Null) die gesamte Abfrage blockieren oder fehlschlagen. Die Abfrage wird nun erfolgreich abgeschlossen, und der Fehler wird ausgelöst, wenn Sie aufrufenobservation.get.DESCRIBE FLOWReserviertes Schlüsselwort: DerDESCRIBE FLOWBefehl ist jetzt verfügbar. Wenn Sie eine Tabelle mit dem Namenflowhaben, verwenden SieDESCRIBE schema.flow,DESCRIBE TABLE flowoderDESCRIBE `flow`mit Backticks.SpatialSQL-Boolean-Operationen setzen:
ST_Difference,ST_Intersection, undST_Unionverwenden eine neue Implementierung mit etwa doppelt so hoher Leistung. Gültige Eingabegeometrien erzeugen immer ein Ergebnis. Die Ergebnisse werden für eine konsistente Ausgabe normalisiert und können sich nach der 15. Dezimalstelle bei Schnittpunkten von Liniensegmenten aufgrund unterschiedlicher Formeln und der Reihenfolge der Rechenoperationen unterscheiden.Ausnahmetypen für SQLSTATE:Ausnahmetypen werden aktualisiert, um SQLSTATE zu unterstützen. Wenn Ihr Code Ausnahmen anhand von Zeichenfolgenabgleich analysiert oder bestimmte Ausnahmetypen abfangen, aktualisieren Sie die Fehlerbehandlungslogik.
Version 18.0
27. Februar 2026
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 18.0.
Neue Funktionen
SQL-Skripting ist jetzt allgemein verfügbar: SQL-Skripting ist jetzt allgemein verfügbar.
Redshift JDBC-Treiber auf 2.1.0.28 aktualisiert: Der Redshift JDBC-Treiber wurde auf Version 2.1.0.28 aktualisiert.
Gemeinsame Isolationsausführungsumgebung für Unity Catalog Python UDFs: Unity Catalog Python UDFs mit demselben Besitzer können nun standardmäßig eine Isolationsumgebung teilen, was die Leistung verbessert und den Speicherverbrauch reduziert. Um sicherzustellen, dass eine UDF immer in einer vollständig isolierten Umgebung ausgeführt wird, fügen Sie die
STRICT ISOLATIONMerkmalsklausel hinzu. Siehe Umgebungsisolation.SQL-Fensterfunktionen in Metrikansichten: Sie können jetzt SQL-Fensterfunktionen in Metrikansichten verwenden, um laufende Summen, Ranglisten und andere fensterbasierte Berechnungen zu berechnen.
Dynamische Anpassung der Shuffle-Partition bei stateless Streaming-Abfragen: Sie können jetzt die Anzahl der Shuffle-Partitionen in stateless Streaming-Abfragen ändern, ohne die Abfrage neu starten zu müssen.
Adaptive Query Execution und auto-optimiertes Shuffle in zustandslosen Streaming-Abfragen: Adaptive Query Execution (AQE) und auto-optimiertes Shuffle (AOS) werden jetzt in zustandslosen Streaming-Abfragen unterstützt.
Literal-Zeichenketten überall zusammenfassen: Die Fähigkeit, aufeinanderfolgende String-Literale wie
'Hello' ' World'zu'Hallo Welt'zusammenzufassen, wurde auf alle Stellen erweitert, an denen String-Literale zulässig sind. SieheSTRING-Typ.Parametermarker an allen Stellen: Man kann jetzt benannte (
:param) und unbenannte (?) Parametermarker praktisch überall verwenden, wo ein literaler Wert des entsprechenden Typs verwendet werden kann, einschließlich DDL-Anweisungen und Spaltentypen. Siehe Parametermarkierungen.IDENTIFIERKlausel überall: DieIDENTIFIERKlausel, die Zeichenketten in SQL-Objektnamen umwandelt, wurde auf nahezu überall ausgeweitet, wo ein Identifikator erlaubt ist, einschließlich Spaltenaliasen und Spaltendefinitionen. Siehe IDENTIFIER Klausel.Neue
BITMAP_AND_AGG-Funktion: Eine neuebitmap_and_agg-Aggregatfunktion steht nun zur Verfügung.Neue Theta-Skizzenfunktionen: Eine neue Bibliothek von Funktionen für ungefähre unterschiedliche Zähl- und Mengenoperationen mit Datasketches Theta Sketch ist jetzt verfügbar, darunter theta_sketch_agg, theta_union_agg, theta_intersection_agg und verwandte Funktionen.
Neue KLL Sketch-Funktionsbibliothek: Eine neue Bibliothek von Funktionen zum Erstellen von KLL Sketches für approximative Quantilberechnungen ist jetzt verfügbar, einschließlich kll_sketch_agg_bigint, kll_sketch_agg_double und verwandter Funktionen.
Apache Parquet Bibliothek auf 1.16.0 aktualisiert: Die Apache Parquet Bibliothek wurde auf Version 1.16.0 aktualisiert.
Neue geospatiale Funktionen: Die folgenden neuen geospatialen Funktionen werden nun unterstützt:
-
st_azimuthFunktion: Gibt den nordbasierten Azimut vom ersten Punkt zum zweiten in Radianten zurück. -
st_boundary-Funktion: Gibt die Grenze der Eingabegeometrie zurück. -
st_closestpointFunktion: Gibt die 2D-Projektion eines Punktes auf der ersten Geometrie zurück, die der zweiten Geometrie am nächsten ist. -
st_geogfromewktFunktion: Analysiert eine erweiterte Well-Known Textbeschreibung (EWKT) einer Geographie. -
st_geomfromewktfunction: Analysiert eine Extended Well-Known Text (EWKT)-Beschreibung einer Geometrie.
-
Verbesserte räumliche Join-Leistung: Die räumliche Join-Leistung wird nun durch die Einführung der Unterstützung für Shuffled Spatial Join verbessert.
Verbesserte Leistung für georäumliche Funktionen: Photonenimplementierungen sind jetzt für
st_isvalidFunktion,st_makelineFunktion undst_makepolygonFunktion verfügbar.EWKT-Eingabe-Unterstützung: Die Funktionen try_to_geography, try_to_geometry, to_geography und to_geometry akzeptieren nun Extended Well-Known Text (EWKT) als Eingabe.
Verhaltensänderungen
FSCK REPAIR TABLEenthält standardmäßig Metadatenreparatur: DerFSCK REPAIR TABLEBefehl enthält nun einen ersten Metadaten-Reparaturschritt, bevor er auf fehlende Datendateien überprüft wird. Der Befehl kann an Tabellen mit beschädigten Prüfpunkten oder ungültigen Partitionswerten arbeiten.Prorationsfaktoren zwischen Lesevorgängen und auto-optimierten Schreibvorgängen angeglichen: Prorationsfaktoren für die Partitionsgröße werden nun bei Lesevorgängen und auto-optimierten Schreibvorgängen konsistent mit Bruchwerten verwendet. Diese Änderung kann zu einer unterschiedlichen Anzahl von Aufgaben für Lesevorgänge führen.
Python UDF-Ausführung einheitlich über PySpark und Unity Catalog hinweg: Unity Catalog Python UDFs verwenden nun Apache Arrow als Standard-Austauschformat, was die Gesamtleistung verbessert. Im Rahmen dieser Änderung enthalten die an die Python-UDFs übergebenen Werte keine Zeitzoneninformationen mehr im
TIMESTAMPdatetime-Attribut des Objekts. Wenn Ihre UDF auf Zeitzoneninformationen angewiesen ist, stellen Sie sie mitdate = date.replace(tzinfo=timezone.utc)wieder her. Siehe Zeitzonenverhalten von Zeitstempeln bei zeilenweisen Eingaben.Verbesserte Fehlermeldungen bei Kafka-Connector-Login-Modul-Problemen: Wenn der Kafka-Connector mit einer unschattierten Login-Modul-Klasse verwendet wird, liefert Azure Databricks nun Fehlermeldungen, die vorschlagen, das korrekte schattierte Klassenpräfix (
kafkashaded.org.apache.kafkaoderkafkashaded.software.amazon.msk.auth.iam) zu verwenden.Zeitreisebeschränkungen und
VACUUMAufbewahrungsverhalten: Azure Databricks blockiert nun Zeitreiseanfragen jenseits des SchwellenwertsdeletedFileRetentionDurationfür alle Tabellen. DerVACUUMBefehl ignoriert das Argument "Aufbewahrungsdauer", es sei denn, der Wert beträgt 0 Stunden. Sie könnendeletedFileRetentionDurationnicht größer alslogRetentionDurationoder umgekehrt festlegen.BinaryTypewird standardmäßig in PySpark aufbytesabgebildet: In PySpark wirdBinaryTypejetzt konsequent auf Pythonbytesabgebildet. Zuvor hat PySparkBinaryTypeabhängig vom Kontext entweder inbytesoder inbytearrayabgebildet. Um das alte Verhalten wiederherzustellen, setzen Siespark.sql.execution.pyspark.binaryAsBytesauffalsefest.Partitionsspalten, die in Parquet-Dateien materialisiert wurden: Partitionierte Delta-Tabellen materialisieren nun Partitionsspalten in neu geschriebenen Parquet-Datendateien. Zuvor wurden Partitionswerte in den Delta-Transaktionsprotokollmetadaten gespeichert und in Verzeichnispfaden wiedergegeben, aber nicht als Spalten in den Parkettdateien selbst geschrieben. Diese Änderung könnte sich auf Workloads auswirken, die direkt von Delta geschriebene Parquet-Dateien lesen.
DESCRIBE TABLEDie Ausgabe enthält die Metadaten-Spalte: Die Ausgabe vonDESCRIBE TABLE [EXTENDED]enthält jetzt eine neuemetadataSpalte für alle Tabellentypen, die semantische Metadaten (Anzeigename, Format und Synonyme) enthält, die als JSON-String in der Tabelle definiert sind.
Serverlose Umgebung, Version 5, ist jetzt verfügbar
25. Februar 2026
Sie können jetzt serverlose Umgebung, Version 5, in Ihren serverlosen Notizbüchern und Aufträgen verwenden. Dazu gehören sowohl die CPU- als auch die GPU-Umgebungsversionen. Siehe Environment Version 5.
Version 17.3
28. Oktober 2025
Diese Serverless-Compute-Version entspricht ungefähr Databricks Runtime 17.3 LTS.
Neue Funktionen
LIMIT ALLE Unterstützung für rekursive CTEs: Sie können jetzt die
LIMIT ALLKlausel mit rekursiven gemeinsamen Tabellenausdrücken (rCTEs) verwenden, um explizit anzugeben, dass keine Zeilenbegrenzung auf die Abfrageergebnisse angewendet werden soll. Siehe allgemeiner Tabellenausdruck (Common Table Expression, CTE).Das Anhängen an Dateien in Unity Catalog-Volumes gibt die richtige Fehlermeldung zurück: Beim Versuch, an bestehende Dateien in Unity Catalog-Volumes anzuhängen, wird nun eine aussagekräftigere Fehlermeldung zurückgegeben, die Ihnen hilft, das Problem zu verstehen und zu beheben.
st_dumpFunktionsunterstützung: Man kann diest_dumpFunktion nun verwenden, um ein geometriebasiertes Objekt in seine Bestandteile zu zerlegen und so eine Menge einfacherer Geometrien zurückzugeben. Siehest_dumpFunktion.Polygon-Innenringfunktionen werden jetzt unterstützt: Sie können nun die folgenden Funktionen verwenden, um mit Polygon-Innenringen zu arbeiten:
-
st_numinteriorrings: Ruft die Anzahl der inneren Begrenzungen (Ringe) eines Polygons ab. Siehest_numinteriorringsFunktion. -
st_interiorringn: Extrahieren Sie die n-te innere Begrenzung eines Polygons und geben Sie sie als LineString zurück. Siehest_interiorringnFunktion.
-
EXECUTE IMMEDIATE Verwendung konstanter Ausdrücke: Die
EXECUTE IMMEDIATEAnweisung unterstützt nun die Verwendung konstanter Ausdrücke in der Abfragezeichenkette, was eine flexiblere dynamische SQL-Ausführung ermöglicht. Siehe EXECUTE IMMEDIATE.Serverless Compute erlauben
spark.sql.files.maxPartitionBytes: Sie können jetzt denspark.sql.files.maxPartitionBytesSpark-Konfigurationsparameter bei serverless Compute konfigurieren, um die maximale Anzahl der Bytes zu steuern, die beim Lesen von Dateien in eine einzige Partition gepackt werden. Siehe Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge.
Verhaltensänderungen
Unterstützung von MV/ST-Aktualisierungsinformationen in DESCRIBE EXTENDED AS JSON: Der
DESCRIBE EXTENDED AS JSON-Befehl enthält nun Aktualisierungsinformationen für materialisierte Ansichten und Streaming-Tabellen und bietet Einblick in die letzte Aktualisierungszeit und den -status.Metadatenspalte zu DESCRIBE QUERY und DESCRIBE TABLE hinzufügen: Die Befehle
DESCRIBE QUERYundDESCRIBE TABLEenthalten nun eine Metadatenspalte in ihrer Ausgabe, die zusätzliche Informationen über die Eigenschaften und Merkmale jeder Spalte liefert.Korrekter Umgang mit Nullstrukturen beim Entfernen von NullTyp-Spalten: Azure Databricks behandelt nun korrekt Nullstrukturwerte beim Entfernen von Spalten mit
NullType, wodurch potenzielle Datenkorruption oder unerwartetes Verhalten verhindert wird.Verbesserte Handhabung von Null-Structs in Parquet: Diese Version beinhaltet Verbesserungen darin, wie Null-Struct-Werte beim Lesen und Schreiben von Parquet-Dateien behandelt werden, um ein konsistenteres und korrekteres Verhalten zu gewährleisten.
Upgrade der aws-msk-iam-auth-Bibliothek für Kafka: Die
aws-msk-iam-authfür die Amazon MSK IAM-Authentifizierung verwendete Bibliothek wurde auf die neueste Version aktualisiert, was verbesserte Sicherheit und Kompatibilität bietet.
Version 17.2
25. September 2025
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.2.
Neue Funktionen
-
ST_ExteriorRingFunktion wird jetzt unterstützt: Man kann dieST_ExteriorRingFunktion jetzt verwenden, um die äußere Begrenzung eines Polygons zu extrahieren und als Linienstring zurückzugeben. Siehest_exteriorringFunktion.
Unterstützung für das Schlüsselwort
TEMPORARYbei der Erstellung von Metrikansichten: Sie können dasTEMPORARYSchlüsselwort jetzt verwenden, wenn Sie eine Metrikansicht erstellen. Temporäre Metrikansichten sind nur in der Sitzung sichtbar, die sie erstellt hat, und werden gelöscht, wenn die Sitzung endet. Siehe CREATE VIEW.Verwende native I/O für
LokiFileSystem.getFileStatusauf S3:LokiFileSystem.getFileStatusverwendet jetzt den nativen I/O-Stack für den Amazon-S3-Datenverkehr und gibtshaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus-Objekte stattorg.apache.hadoop.fs.FileStatuszurück.Auto Loader leitet Partitionsspalten im Modus
singleVariantColumnab: Auto Loader leitet nun Partitionsspalten aus Dateipfaden ab, wenn Daten als semi-strukturierter Variantentyp mit der OptionsingleVariantColumnerfasst werden. Zuvor wurden Partitionsspalten nicht automatisch erkannt. Weitere Informationen finden Sie unter "Auto Loader".
Verhaltensänderungen
DESCRIBE CONNECTIONzeigt Umgebungseinstellungen für JDBC-Verbindungen : Azure Databricks enthält nun benutzerdefinierte Umgebungseinstellungen in derDESCRIBE CONNECTIONAusgabe für JDBC-Verbindungen, die benutzerdefinierte Treiber unterstützen und isoliert ausgeführt werden. Andere Verbindungstypen bleiben unverändert.Option zum Kürzen der Uniform-Historie während der Migration von verwalteten Tabellen: Sie können jetzt die Uniform-Historie beim Migrieren von Tabellen mit aktiviertem Uniform/Iceberg mit
ALTER TABLE...SET MANAGEDkürzen. Dies vereinfacht Migrationen und reduziert Ausfallzeiten im Vergleich zum manuellen Deaktivieren und erneuten Aktivieren von Uniform.Korrekte Ergebnisse für
splitmit leerem Regex und positivem Limit: Azure Databricks liefert jetzt korrekte Ergebnisse bei Verwendungsplit functionmit leerem Regex und positivem Limit. Zuvor hat die Funktion die verbleibende Zeichenfolge falsch abgeschnitten, anstatt sie in das letzte Element einzubinden.Korrektur der Fehlerbehandlung für
url_decodeundtry_url_decodein Photon: In Photon gebenurl_decode()undfailOnError = falsemitNULLjetzttry_url_decode()für ungültige URL-kodierte Zeichenfolgen zurück, anstatt dass die Abfrage fehlschlägt.Gemeinsame Ausführungsumgebung für Unity Catalog Python UDTFs: Azure Databricks teilt jetzt die Ausführungsumgebung für Python-benutzerdefinierte Tabellenfunktionen (UDTFs) mit demselben Eigentümer und derselben Spark-Sitzung. Eine optionale
STRICT ISOLATION-Klausel ist verfügbar, um die Freigabe für UDTFs mit Nebeneffekten zu deaktivieren, z. B. das Ändern von Umgebungsvariablen oder das Ausführen von beliebigem Code.
Version 17.1
19. August 2025
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.1.
Neue Funktionen
- Reduzierter Speicherverbrauch für breite Schemata in Photon Writer: Verbesserungen wurden an der Photon-Engine vorgenommen, die den Speicherverbrauch für breite Schemata deutlich reduzierten und Szenarien adressierten, die zuvor zu Speicherfehlern führten.
Verhaltensänderungen
Fehler für ungültige
CHECKConstraints geworfen: Azure Databricks wirft jetzt einAnalysisException, wenn einCHECKConstraint-Ausdruck während der Constraint-Validierung nicht aufgelöst werden kann.Der Pulsar-Connector stellt Bouncy Castle nicht mehr bereit: Die Bouncy-Castle-Bibliothek ist nun im Pulsar-Connector schattiert eingebunden, um Klassenpfadkonflikte zu vermeiden. Daher können Spark-Aufträge nicht mehr über den Connector auf Klassen zugreifen
org.bouncycastle.*. Wenn Ihr Code von Bouncy Castle abhängt, installieren Sie die Bibliothek manuell in der serverlosen Umgebung.Auto Loader verwendet standardmäßig Dateiereignisse, falls verfügbar: Der Auto-Loader verwendet Dateiereignisse anstelle einer Verzeichnisliste, wenn der Ladepfad an einem externen Ort mit aktivierten Dateiereignissen liegt. Der Standardwert
useManagedFileEventsist jetztif_available(warfalse). Dies kann die Erfassungsleistung verbessern und eine Warnung protokollieren, wenn Dateiereignisse noch nicht aktiviert sind.Der Teradata-Connector ermöglicht einen Zeichenfolgenvergleich mit Unterscheidung zwischen Groß-/Kleinschreibung: Der Teradata-Connector wird jetzt standardmäßig auf
TMODE=ANSIgesetzt, indem das Vergleichsverhalten von Zeichenfolgen mit Azure Databricks vereinheitlicht und die die Groß- und Kleinschreibung beachtet wird. Diese Änderung ist konfigurierbar und wirkt sich nicht auf vorhandene Benutzer aus, es sei denn, sie melden sich an.
Serverlose Umgebung, Version 4
13. August 2025
Umgebungsversion 4 ist jetzt in Ihren serverlosen Notizbüchern und Aufträgen verfügbar. Diese Umgebungsversion enthält Bibliotheksupgrades und API-Updates. Siehe Environment Version 4.
Version 17.0
24. Juli 2025
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.0.
Neue Funktionen
SQL-Prozedurenunterstützung: SQL-Skripte können nun in einer Prozedur gekapselt werden, die als wiederverwendbares Asset im Unity Catalog gespeichert ist. Sie können eine Prozedur mit dem Befehl CREATE PROCEDURE erstellen und dann mithilfe des Befehls CALL aufrufen.
Setzen Sie eine Standard-Kollierung für SQL-Funktionen: Die Verwendung der neuen
DEFAULT COLLATIONKlausel im CREATE FUNCTION Befehl definiert die Standard-Kollierung fürSTRINGParameter, den Rückgabetyp undSTRINGLiterale im Funktionskörper.Unterstützung für rekursive gemeinsame Tabellenausdrücke (rCTE): Azure Databricks unterstützt nun die Navigation hierarchischer Daten mithilfe von rekursiven gemeinsamen Tabellenausdrücken (rCTEs). Verwenden Sie eine selbstverweisende CTE mit
UNION ALL, um der rekursiven Beziehung zu folgen.PySpark und Spark Connect unterstützen jetzt die DataFrames
df.mergeInto. API: PySpark und Spark Connect unterstützen jetzt diedf.mergeIntoAPI.Unterstützung für
SHOWinALL CATALOGSSCHEMAS: Die SyntaxALL CATALOGSwird aktualisiert, umSHOW SCHEMASzu akzeptieren, sodass Sie alle aktiven Kataloge, die Namensräume unterstützen, durchlaufen können. Die Ausgabeattribute enthalten nun einecatalogSpalte, die den Katalog des entsprechenden Namespaces angibt.Liquid Clustering kompaktiert jetzt Löschvektoren effizienter: Delta-Tabellen mit Liquid Clustering wenden physische Änderungen aus Löschvektoren jetzt effizienter an, wenn
OPTIMIZEausgeführt wird. Weitere Details finden Sie unter Anwenden von Änderungen an Parkettdatendateien.Nicht-deterministische Ausdrücke
UPDATE/INSERTin Spaltenwerten fürMERGE-Operationen zulassen: Azure Databricks erlaubt nun die Verwendung nicht-deterministischer Ausdrücke in aktualisierten und eingefügten Spaltenwerten vonMERGE-Operationen. Beispielsweise können Sie jetzt dynamische oder zufällige Werte für Spalten mithilfe von Ausdrücken wierand()generieren.Ändern Sie die Delta MERGE Python APIs so, dass sie DataFrame statt Unit zurückgeben: Die Python-APIs
MERGE(wieDeltaMergeBuilder) geben jetzt ebenfalls einen DataFrame zurück, ähnlich wie die SQL-API, mit denselben Ergebnissen.
Verhaltensänderungen
Verhaltensänderung für die Option der inkrementellen Verzeichnisliste Auto Loader: Der Wert der veralteten Option Auto Loader
cloudFiles.useIncrementalListingwird nun auf einen Standardwert von gesetztfalse. Dadurch führt diese Änderung dazu, dass Auto Loader jedes Mal, wenn er ausgeführt wird, eine vollständige Verzeichnisauflistung durchführt. Databricks rät von der Verwendung dieser Option ab. Verwenden Sie stattdessen Datei-Benachrichtigungsmodus mit Dateiereignissen.CREATE VIEWKlauseln auf Spaltenebene werfen nun Fehler, obwohl die Klausel nur für materialisierte Ansichten gilt:CREATE VIEWBefehle, die eine spaltenebene Klausel spezifizieren, die nur fürMATERIALIZED VIEWs gültig ist, werfen nun einen Fehler. Die betroffenen Klauseln enthaltenNOT NULL, angegebene Datentypen undDEFAULTCOLUMN MASK.
Ziele mit serverloser Leistung sind allgemein verfügbar.
10. Juni 2025
Die Auswahl der serverlosen Leistungseinstellung für Aufträge und Pipelines ist jetzt allgemein verfügbar.
Wenn die Einstellung "Leistungsoptimiert " aktiviert ist, ist Ihre Workload für schnellere Start- und Ausführungszeit optimiert. Wenn sie deaktiviert ist, wird die serverlose Workload im Standardleistungsmodus ausgeführt, der für Kosten optimiert ist und eine etwas höhere Startlatenz aufweist.
Weitere Informationen finden Sie unter Auswählen eines Leistungsmodus und Auswählen eines Leistungsmodus.
Version 16.4
28. Mai 2025
Diese Serverless-Compute-Version entspricht ungefähr Databricks Runtime 16.4 LTS.
Verhaltensänderungen
Korrektur, um die Optionen für zwischengespeicherte Datenquellenpläne zu respektieren: Dieses Update stellt sicher, dass Tabellenlesungen die für alle Datenquellenpläne im Zwischenspeicher gesetzten Optionen respektieren, nicht nur die erste zwischengespeicherte Tabellenlesung. Zuvor hatte die Datenquellentabelle den ersten Plan zwischengespeichert, konnte jedoch bei nachfolgenden Abfragen verschiedene Optionen nicht berücksichtigen.
Aktivieren Sie die Flagge, um Quellmaterialisierung für MERGE-Operationen zu verlangen: Früher konnten Benutzer die Quellmaterialisierung in MERGE durch Einstellung
merge.materializeSourceaufnonedeaktivieren. Wenn das neue Flag aktiviert ist, ist die Materialisierung der Datenquelle immer erforderlich, und der Versuch, sie zu deaktivieren, führt zu einem Fehler. Databricks plant, dieses Flag nur für Kunden zu aktivieren, die diese Konfiguration noch nicht geändert haben, sodass die meisten Benutzer keine Verhaltensänderung erleben sollten.
Neue Funktionen
Auto Loader kann jetzt verarbeitete Dateien im Quellverzeichnis bereinigen: Du kannst Auto Loader jetzt anweisen, automatisch verarbeitete Dateien zu verschieben oder zu löschen. Aktivieren Sie dieses Feature mithilfe der
cloudFiles.cleanSourceOption "Automatisches Laden". Siehe "Allgemein" untercloudFiles.cleanSource.Typerweiterungsunterstützung für das Streaming aus Delta-Tabellen hinzugefügt: Diese Version bietet Unterstützung für das Streaming von einer Delta-Tabelle mit typerweiterten Spaltendaten sowie für das Teilen einer Delta-Tabelle mit aktivierter Typerweiterung über Databricks-to-Databricks Delta Sharing. Die Funktion zur Typerweiterung befindet sich aktuell in der öffentlichen Vorschau. Weitere Informationen finden Sie unter Typerweiterung.
IDENTIFIER Unterstützung jetzt in DBSQL für Katalogoperationen verfügbar: Sie können die
IDENTIFIERKlausel jetzt verwenden, wenn Sie die folgenden Katalogoperationen ausführen:CREATE CATALOGDROP CATALOGCOMMENT ON CATALOGALTER CATALOG
Mit dieser neuen Syntax können Sie Katalognamen dynamisch mithilfe von Parametern angeben, die für diese Vorgänge definiert sind, wodurch flexiblere und wiederverwendbare SQL-Workflows ermöglicht werden. Berücksichtigen Sie
CREATE CATALOG IDENTIFIER(:param)als Beispiel für die Syntax, woparamein Parameter angegeben wird, um einen Katalognamen anzugeben. Siehe IDENTIFIER Klausel.Zusammengestellte Ausdrücke liefern nun automatisch generierte transiente Aliase: Autogenerierte Aliase für zusammengestellte Ausdrücke integrieren
COLLATEnun deterministisch Informationen. Automatisch generierte Aliase sind vorübergehend (instabil) und sollten nicht verwendet werden. Verwenden Sieexpression AS aliasstattdessen als bewährte Methode konsistent und explizit.Unterstützung der Filter-Pushdown-API für Python-Datenquellen hinzufügen: Serverlose Rechenleistung unterstützt jetzt Filter-Pushdown für Batch-Lesevorgänge von Python-Datenquellen als API, ähnlich wie die
SupportsPushDownFiltersSchnittstelle. Siehe Versionshinweise zu 16.4 LTS.Verbesserung des Python UDF Tracebacks: Das Python UDF Traceback umfasst nun Frames sowohl vom Treiber als auch vom Ausführenden zusammen mit Client-Frames, was zu besseren Fehlermeldungen führt, die größere und relevantere Details anzeigen (wie den Zeileninhalt von Frames innerhalb eines UDF).
UNION/EXCEPT/INTERSECT innerhalb einer Ansicht und EXECUTE IMMEDIATE liefern nun korrekte Ergebnisse zurück: Abfragen für temporäre und persistente Ansichtsdefinitionen mit Top-Level
UNION//EXCEPTINTERSECTund unaliased Spalten lieferten zuvor falsche Ergebnisse, daINTERSECTUNION/EXCEPT/ Schlüsselwörter als Aliase galten. Diese Abfragen führen jetzt das gesamte Set korrekt aus.Datenquellen-Cache-Plan-Konferenz- und Migrationsleitfaden: Das Lesen aus einer Dateiquellentabelle berücksichtigt korrekt Abfrageoptionen (zum Beispiel Abgrenzer). Zuvor wurde der erste Abfrageplan zwischengespeichert und nachfolgende Optionsänderungen ignoriert. Um das vorherige Verhalten wiederherzustellen, legen Sie
spark.sql.legacy.readFileSourceTableCacheIgnoreOptionsauftruefest.Neue
listagg- undstring_agg-Funktionen: Ab dieser Version können Sie die Funktionenlistaggoderstring_aggverwenden, um Werte vonBINARYundSTRINGinnerhalb einer Gruppe zu aggregieren. Siehe string_agg.
Der Leistungsmodus kann jetzt auf serverlosen Aufträgen konfiguriert werden.
14. April 2025
Sie können nun den Leistungsmodus eines serverlosen Auftrags auswählen, indem Sie die Einstellung "Leistung optimiert " auf der Seite mit den Auftragsdetails verwenden. Bisher wurden alle serverlosen Aufträge leistungsoptimiert. Jetzt können Sie die Einstellung "Leistung optimiert " deaktivieren, um die Workload im Standardleistungsmodus auszuführen. Der Standard-Performance-Modus ist darauf ausgelegt, Kosten bei Workloads zu senken, bei denen eine etwas höhere Startlatenz akzeptabel ist.
Der Standardleistungsmodus wird für fortlaufende Pipelines, einmalige Ausführungen, die mit dem runs/submit Endpunkt erstellt wurden, oder SQL Warehouse-Auftragsaufgaben, einschließlich materialisierter Ansichten, nicht unterstützt.
Weitere Informationen zum Leistungsmodus finden Sie unter Auswählen eines Leistungsmodus.
Version 16.3
9. April 2025
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 16.3.
Verhaltensänderungen
-
*Verbesserte Fehlermeldung, wenn
kafka.sasl.client.callback.handler.classein ungültiger Wert zugewiesen wird: Diese Version enthält eine Änderung, die eine beschreibendere Fehlermeldung zurückgibt, wennkafka.sasl.client.callback.handler.classein ungültiger Wert zugewiesen wird.
Neue Funktionen
Unterstützung für State Reader ist allgemein verfügbar: Die Unterstützung für das Auslesen von Statusinformationen bei Structured-Streaming-Abfragen ist nun auf Serverless-Compute allgemein verfügbar. Weitere Informationen finden Sie unter Lesen von strukturierten Streamingstatusinformationen.
Das Delta-Tabellenprotokoll-Downgrade ist GA mit Checkpoint-Schutz:
DROP FEATUREist allgemein verfügbar, um Delta-Lake-Tabellenfunktionen zu entfernen und das Tabellenprotokoll herunterzustufen. Standardmäßig erstelltDROP FEATUREjetzt geschützte Prüfpunkte für eine optimierte und vereinfachte Downgrade-Erfahrung, die keine Wartezeit oder Verlaufskürzung erfordert. Weitere Informationen finden Sie unter Löschen eines Delta Lake-Tabellenfeatures und Herabstufen des Tabellenprotokolls.Prozedurale SQL-Skripte auf Basis von ANSI SQL/PSM (Public Preview) schreiben: Sie können jetzt Skriptfunktionen auf Basis von ANSI SQL/PSM nutzen, um prozedurale Logik mit SQL zu schreiben, einschließlich Control Flow-Anweisungen, lokalen Variablen und Exception Handling. Weitere Informationen finden Sie unter SQL-Skripting.
Standard-Kollation auf Tabellen- und Ansichtsebene: Sie können jetzt eine Standard-Kollation für Tabellen und Ansichten festlegen. Dies vereinfacht die Erstellung von Tabellen und Ansichten, bei denen alle oder die meisten Spalten dieselbe Sortierung aufweisen. Siehe Kollationierung.
Neue H3-Funktionen: Drei neue H3-Funktionen wurden hinzugefügt: h3_try_coverash3, h3_try_coverash3string und h3_try_tessellateaswkb.
Mehrere Tabellenspalten in einer Anweisung ALTER TABLE ändern: Sie können jetzt mehrere Spalten in einer einzigen
ALTER TABLEAussage ändern. Siehe ALTER TABLE ... COLUMN -Klausel.
Version 16.2
13. März 2025
Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 16.2.
Verhaltensänderungen
Im Delta Sharing ist der Tabellenverlauf standardmäßig aktiviert: Shares, die mit dem SQL-Befehl
ALTER SHARE <share> ADD TABLE <table>erstellt wurden, haben nun standardmäßig Versionsverlauf (WITH HISTORY) aktiviert. Siehe ALTER SHARE.Credential-SQL-Anweisungen geben einen Fehler zurück, wenn eine Identifikationstyp-Diskrepanz vorliegt: Wenn der in einer Credential Management SQL-Anweisung angegebene Credential-Typ nicht mit dem Typ des Credential-Arguments übereinstimmt, wird ein Fehler zurückgegeben und die Anweisung wird nicht ausgeführt.
Neue Funktionen
Verwenden Sie
timestampdiff×tampaddin Ausdrücken für generierte Spalten. Sie können jetzt die Funktionen timestampdiff und timestampadd in Ausdrücken für generierte Spalten in Delta Lake verwenden. Siehe Verwenden der von Delta Lake generierten Spalten.Update, um
DESCRIBE TABLEMetadaten als strukturiertes JSON zurückzugeben: Sie können jetzt denDESCRIBE TABLE AS JSONBefehl verwenden, um Tabellenmetadaten als JSON-Dokument zurückzugeben. Die JSON-Ausgabe ist strukturierter als der vom Benutzer lesbare Standardbericht und kann zum programmgesteuerten Interpretieren des Schemas einer Tabelle verwendet werden. Weitere Informationen finden Sie unter DESCRIBE TABLE AS JSON.Sortierungen mit Ignorieren nachgestellter Leerzeichen: Serverless unterstützt jetzt Sortierungen mit Ignorieren nachgestellter Leerzeichen. Beispielsweise behandeln diese Sortierungen
'Hello'und'Hello 'gleich. Weitere Informationen finden Sie unter RTRIM-Sortierung.
Fehlerbehebungen
-
Verbesserte Verarbeitung inkrementeller Klone: Diese Version enthält eine Korrektur für einen Randfall, bei dem ein inkrementeller
CLONEDateien, die bereits aus einer Quelltabelle in eine Zieltabelle kopiert wurden, möglicherweise erneut kopiert. Siehe Klonen einer Tabelle in Azure Databricks.
Verfügbare Einstellung für oberen Speicher auf serverlosen Notebooks (Public Preview)
7. Februar 2025
Sie können jetzt eine höhere Arbeitsspeichergröße für Ihre serverlosen Rechennotizbucharbeitslasten konfigurieren. Diese Einstellung kann sowohl auf interaktive als auch auf geplante Notizbucharbeitslasten angewendet werden.
Die serverlose Verwendung mit hohem Arbeitsspeicher hat eine höhere DBU-Emissionsrate als standardspeicher.
Weitere Informationen finden Sie unter Verwenden der serverlosen Berechnung mit hohem Arbeitsspeicher.
Version 16.1
5. Februar 2025
Dieses serverlose Compute-Release entspricht ungefähr Databricks Runtime 16.0 und Databricks Runtime 16.1.
Neue Funktionen
-
Avro-Unterstützung für rekursives Schema: Sie können jetzt die
recursiveFieldMaxDepthOption mit derfrom_avroFunktion und deravroDatenquelle verwenden. Diese Option legt die maximale Tiefe für die Schema rekursion in der Avro-Datenquelle fest. Weitere Informationen finden Sie unter Lesen und Schreiben von Avro-Streamingdaten. - Erweiterte Unterstützung für das Confluent Schema Registry für Avro: Serverless unterstützt jetzt Avro-Schema-Referenz mit der Confluent Schema Registry. Weitere Informationen finden Sie unter Authentifizieren bei einer externen Schemaregistrierung von Confluent.
-
Reclustering bei Tabellen mit Liquid Clustering erzwingen: Du kannst jetzt die Syntax
OPTIMIZE FULLnutzen, um das Reclustering aller Datensätze in einer Tabelle mit aktiviertem Liquid Clustering zu erzwingen. Siehe Neuclustering erzwingen. - Die Delta-APIs für Python unterstützen jetzt Identitätsspalten: Man kann jetzt die Delta-APIs für Python verwenden, um Tabellen mit Identitätsspalten zu erstellen. Siehe Identitätsspalten.
-
Erstellung von Liquid-Cluster-Tabellen während Streaming-Schreibvorgängen: Sie können nun
clusterByverwenden, um Liquid Clustering zu aktivieren, wenn Sie neue Tabellen mit Structured-Streaming-Schreibvorgängen erstellen. Weitere Informationen finden Sie unter Aktivieren des Liquid Clustering. - Unterstützung für die OPTIMIZE FULL-Klausel: Serverlose Rechenleistungen unterstützen jetzt die OPTIMIZE FULL-Klausel . Diese Klausel optimiert alle Datensätze in einer Tabelle, die flüssigen Clustering verwendet, einschließlich Daten, die zuvor gruppiert wurden.
-
Unterstützung für die WITH-Optionsspezifikation in INSERT und Tabellenreferenz: Serverless Compute unterstützt nun eine Optionsspezifikation für Tabellenreferenzen und Tabellennamen einer
INSERTAnweisung, die zur Steuerung des Verhaltens von Datenquellen verwendet werden kann. -
Neue SQL-Funktionen: Die folgenden SQL-Funktionen sind jetzt auf serverloser Berechnung verfügbar:
- try_url_decode ist eine fehlertolerante Version von url_decode.
-
zeroifnull gibt 0 zurück, wenn der Eingabeausdruck für die
zeroifnull()-FunktionNULList. -
nullifzero gibt
NULLzurück, wenn die Eingabe 0 ist, andernfalls die Eingabe selbst. - dayname(expr) gibt das dreibuchstabige englische Akronym für den Wochentag des angegebenen Datums zurück.
- uniform(expr1, expr2 [,seed]) gibt einen gleichverteilten Zufallswert innerhalb des angegebenen Zahlenbereichs zurück.
-
randstr(length) gibt eine zufällige Zeichenkette alphanumerischer
lengthZeichen zurück.
-
Automatische Schema-Entwicklung beim Zusammenführen von Daten in eine Delta-Tabelle aktivieren: Für das
withSchemaEvolution()Mitglied derDeltaMergeBuilderKlasse wurde Unterstützung hinzugefügt. Verwenden SiewithSchemaEvolution(), um die automatische Schemaentwicklung währendMERGEVorgängen zu aktivieren. Beispiel:mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}. -
Die Unterstützung für Sortierreihenfolgen in Apache Spark befindet sich in der öffentlichen Vorschau: Sie können nun
STRINGSpalten und Ausdrücken sprachbezogene, groß-/kleinschreibungsunabhängige und zugriffsunabhängige Sortierreihenfolgen zuweisen. Diese Sortierungen werden in Vergleichen von Zeichenfolgen, Sortiervorgängen, Gruppierungsvorgängen und vielen Zeichenfolgenfunktionen verwendet. Siehe Kollationierung. - Die Unterstützung für Kollierungen in Delta Lake ist in der öffentlichen Vorschau verfügbar: Sie können nun Kollierungen für Spalten definieren, wenn Sie eine Delta-Tabelle erstellen oder ändern. Weitere Informationen finden Sie unter Sortierungsunterstützung für Delta Lake.
-
LITE-Modus für Vacuum befindet sich in der öffentlichen Vorschau: Sie können jetztVACUUM table_name LITEverwenden, um eine leichtere Vakuumoperation durchzuführen, die Metadaten im Delta-Transaktionsprotokoll nutzt. Sehen Sie Vergleich Vollmodus gegenüber Lite-Modus und VACUUM. -
Unterstützung für die Parametrisierung der
USE CATALOG with IDENTIFIERKlausel: Die IDENTIFIERKlausel wird nun für die Anweisung USE CATALOG unterstützt. Mit dieser Unterstützung können Sie den aktuellen Katalog basierend auf einer Zeichenfolgenvariablen oder Parametermarkierung parametrisieren. - COMMENT ON COLUMN Unterstützung für Tabellen und Ansichten: Die Erklärung COMMENT ON unterstützt nun die Änderung von Kommentaren für Ansichts- und Tabellenspalten.
- Benannter Parameteraufruf für weitere Funktionen: Die folgenden Funktionen unterstützen benannte Parameteraufrufe:
-
Der Parameter
SYNC METADATAfür den REPAIR TABLE Befehl wird für den Hive-Metastore unterstützt: Sie können den Parameter jetzt mit demREPAIR TABLEBefehlSYNC METADATAverwenden, um die Metadaten einer verwalteten Hive-Metastore-Tabelle zu aktualisieren. Siehe REPAIR TABLE. -
Verbesserte Datenintegrität für komprimierte Apache Arrow-Batches: Um Datenkorruption weiter zu verhindern, enthält jeder
LZ4komprimierte Arrow-Batch nun dieLZ4Inhalts- und Blockprüfsummen. Weitere Informationen finden Sie unter Beschreibung des LZ4-Frameformats.
-
Eingebauter Oracle JDBC-Treiber: Serverlose Rechenleistung verfügt jetzt über den integrierten Oracle JDBC Driver. Wenn Sie ein vom Kunden hochgeladenes JDBC-Treiber-JAR über
DriverManagerverwenden, müssen Sie Skripts neu schreiben, um das benutzerdefinierte JAR explizit zu verwenden. Andernfalls wird der integrierte Treiber verwendet. Dieser Treiber unterstützt nur den Lakehouse-Verbund. Für andere Anwendungsfälle müssen Sie Ihren eigenen Treiber bereitstellen. -
Detailliertere Fehler für Delta-Tabellen, die mit Pfaden aufgerufen werden: Eine neue Fehlermeldungserfahrung für Delta-Tabellen, die über Pfade aufgerufen werden, ist jetzt verfügbar. Alle Ausnahmen werden jetzt an den Benutzer weitergeleitet. Die Ausnahme
DELTA_MISSING_DELTA_TABLEist jetzt reserviert, wenn zugrundeliegende Dateien nicht als Delta-Tabelle gelesen werden können.
Verhaltensänderungen
- Kompatibilitätsänderung: Hosted RStudio hat das Ende des Lebenszyklus erreicht: Mit dieser Version hat der von Databricks gehostete RStudio Server das Ende des Lebenszyklus erreicht und ist in keinem Azure Databricks-Arbeitsbereich mit serverlosem Compute verfügbar. Weitere Informationen und eine Liste der Alternativen zu RStudio finden Sie unter Connect to a Databricks-hosted RStudio Server.
Brechende Änderung: Entfernung der Unterstützung für die Änderung
bytevon ,short,intundlongTypen zu breiteren Typen: Um ein konsistentes Verhalten über Delta- und Apache-Iceberg-Tabellen zu gewährleisten, können die folgenden Datentypänderungen nicht mehr auf Tabellen mit aktivierter Typerweiterung angewendet werden:-
byte,short,intundlongzudecimal. -
byte,short, undintzudouble.
-
Korrekte Parsing von Regex-Mustern mit Negation in verschachtelten Zeichengruppen: Diese Version enthält eine Änderung, um das korrekte Parsen von Regex-Mustern mit Negation in verschachtelten Zeichengruppierungen zu unterstützen. Beispielsweise wird
[^[abc]]als "jedes Zeichen, das NICHT eines von 'abc' ist" geparst.Das Verhalten von Photon war zudem im Vergleich zu Spark inkonsistent bei geschachtelten Zeichenklassen. RegEx-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist ein beliebiges Muster, das eckige Klammern in eckigen Klammern enthält, z. B.
[[a-c][1-3]].Erkennung doppelter Übereinstimmungen in Delta Lake
MERGEverbessern:MERGEberücksichtigt nun die in der KlauselWHEN MATCHEDfestgelegten Bedingungen. Siehe Ausführen eines Upsert-Vorgangs in einer Delta Lake-Tabelle mithilfe von „Merge“.Die Funktionalität
addArtifact()ist nun konsistent über alle Rechentypen hinweg: Wenn manaddArtifact(archive = True)eine Abhängigkeit zu serverloser Berechnung hinzufügt, wird das Archiv automatisch entpackt.
Fehlerbehebungen
- Zeitzonenverschiebungen umfassen nun Sekunden, wenn sie in CSV, JSON und XML serialisiert werden: Zeitstempel mit Zeitzonenverschiebungen, die Sekunden enthalten (üblich bei Zeitstempeln von vor 1900), ließen die Sekunden bei Serialisierung in CSV, JSON und XML weg. Der Standardformatierer für den Zeitstempel wurde behoben und gibt nun die richtigen Offsetwerte für diese Zeitstempel zurück.
Andere Änderungen
-
Umbenannte Fehlercodes für die
cloudFilesStrukturierte Streaming-Quelle: Die folgenden Fehlercodes wurden umbenannt:-
_LEGACY_ERROR_TEMP_DBR_0143wird umbenannt inCF_INCORRECT_STREAM_USAGE. -
_LEGACY_ERROR_TEMP_DBR_0260wird umbenannt inCF_INCORRECT_BATCH_USAGE.
-
Version 15.4
28. Oktober 2024
Dieses Release der serverlosen Berechnung entspricht ungefähr Databricks Runtime 15.4.
Neue Funktionen
-
UTF-8 Validierungsfunktionen: Diese Version führt folgende Funktionen zur Validierung von UTF-8-Strings ein:
- is_valid_utf8 überprüft, ob ein String ein gültiger UTF-8-String ist.
- make_valid_utf8 wandelt einen potenziell ungültigen UTF-8-String mithilfe von Substitutionszeichen in einen gültigen UTF-8-String um.
- validate_utf8 meldet einen Fehler, wenn die Eingabe kein gültiger UTF-8-String ist.
-
try_validate_utf8 gibt
NULLzurück, wenn die Eingabe kein gültiger UTF-8-String ist.
- Aktivieren Sie UniForm Iceberg mit ALTER TABLE: Sie können UniForm Iceberg jetzt auf bestehenden Tabellen aktivieren, ohne Datendateien neu zu schreiben. Siehe "In einer vorhandenen Tabelle".
-
try_url_decode Funktion: Diese Version führt die try_url_decode-Funktion ein, die eine URL-kodierte Zeichenfolge dekodiert. Wenn die Zeichenfolge nicht das richtige Format hat, gibt die Funktion
NULLzurück, anstatt einen Fehler zu auslösen. -
Optional können Sie dem Optimierer zulassen, sich auf nicht erzwungene Fremdschlüssel-Beschränkungen zu stützen: Um die Leistung der Abfragen zu verbessern, können Sie nun das
RELY-Schlüsselwort fürFOREIGN KEY-Beschränkungen angeben, wenn Sie eine Tabelle mit CREATE oder ALTER bearbeiten. -
Parallelisierte Jobausführungen für selektive Überschreibungen: Selektive Überschreibungen mit
replaceWhereführen nun Jobs aus, die Daten löschen und neue Daten parallel einfügen, was die Abfrageleistung und die Clusternutzung verbessert. -
Verbesserte Leistung für den Änderungsdatenfeed mit selektiven Überschreibungen: Selektive Überschreibungen mit
replaceWherebei Tabellen mit Änderungsdaten-Feed schreiben keine separaten Änderungsdatendateien mehr für eingefügte Daten. Diese Vorgänge verwenden eine ausgeblendete_change_type-Spalte, die in den zugrunde liegenden Parquet-Datendateien vorhanden ist, um Änderungen ohne Schreibverstärkung aufzuzeichnen. -
Verbesserte Abfragelatenz für den
COPY INTOBefehl: Diese Version enthält eine Änderung, die die Abfragelatenz für denCOPY INTOBefehl verbessert. Diese Verbesserung wird umgesetzt, indem das Laden des Zustands im RocksDB-Zustandsspeicher asynchron erfolgt. Dank dieser Änderung sollten Sie eine Verbesserung der Startzeiten für Abfragen mit großen Zuständen feststellen, wie Abfragen mit einer großen Anzahl bereits erfasster Dateien. -
Unterstützung für das Entfernen des Tabellen-Features für Prüfbeschränkungen: Man kann das
checkConstraintsTabellen-Feature nun mitALTER TABLE table_name DROP FEATURE checkConstraintsaus einer Delta-Tabelle entfernen. Siehe Check-Einschränkungen entfernen.
Verhaltensänderungen
Änderung der Schema-Bindung für Views: Wenn sich die Datentypen in der zugrunde liegenden Abfrage einer View von denen ändern, die bei der Erstellung der View verwendet wurden, wirft Databricks keine Fehler mehr für Referenzen auf die View, wenn kein Safe Cast ausgeführt werden kann.
Stattdessen wird nach Möglichkeit mit regulären Umwandlungs-Regeln ausgeglichen. Diese Änderung ermöglicht es Databricks, Tabellenschemaänderungen besser zu tolerieren.
Undokumentierte
!Syntaxtoleranz fürNOTaußerhalb der booleschen Logik wird verboten: Databricks toleriert die Verwendung von!als Synonym fürNOTaußerhalb der booleschen Logik nicht mehr. Diese Änderung vermindert Verwirrung, entspricht dem SQL-Standard und macht SQL portierbarer. Beispiel:CREATE ... IF ! EXISTS, IS ! NULL,! NULL-Spalten- oder Feldeigenschaft,! INund ! BETWEEN muss ersetzt werden durch:CREATE ... IF NOT EXISTS,IS NOT NULL,NOT NULLSpalten- oder Feldeigenschaft,NOT INundNOT BETWEEN.Der booleschen Präfixoperator
!(z. B.!is_mgroder!(true AND false)) ist von dieser Änderung nicht betroffen.Nicht dokumentierte und unverarbeitete Teile der Spaltendefinitionssyntax in Views verbieten: Databricks unterstützt CREATE VIEW mit benannten Spalten und Spaltenkommentaren.
Die Spezifikation von Spaltentypen,
NOT NULL-Einschränkungen oderDEFAULTwurde in der Syntax toleriert, ohne dass dies Folgen hat. Databricks entfernt diese Syntaxtoleranz. Dies reduziert Verwirrung, entspricht dem SQL-Standard und ermöglicht zukünftige Verbesserungen.Konsistente Fehlerbehandlung für die Base64-Dekodierung in Spark und Photon: Diese Veröffentlichung ändert, wie Photon mit Base64-Dekodierungsfehlern umgeht, um mit der Spark-Behandlung dieser Fehler übereinzustimmen. Vor diesen Änderungen konnte der Photon- und Spark-Codegenerierungspfad manchmal keine Analyseausnahmen auslösen, während die Spark-Ausführung richtigerweise
IllegalArgumentExceptionoderConversionInvalidInputErrorauslöste. Mit diesem Update wird sichergestellt, dass Photon bei Base64-Decodierungsfehlern konsistent dieselben Ausnahmen auslöst wie Spark, was eine vorhersehbarere und zuverlässigere Fehlerbehandlung ermöglicht.Das Hinzufügen einer
CHECK-Einschränkung für eine ungültige Spalte gibt nun die Fehlerklasse UNRESOLVED_COLUMN.WITH_SUGGESTION zurück: Um nützlichere Fehlermeldungen bereitzustellen, gibt in Databricks Runtime 15.3 und höher eineALTER TABLE ADD CONSTRAINT-Anweisung, die eineCHECK-Einschränkung enthält, die auf einen ungültigen Spaltennamen verweist, die UNRESOLVED_COLUMN.WITH_SUGGESTION-Fehlerklasse zurück. Zuvor wurdeINTERNAL_ERRORzurückgegeben.
Das JDK wird von JDK 8 auf JDK 17 geupgradet.
15. August 2024
Serverloses Computing für Notebooks und Workflows wurde von Java Development Kit (JDK) 8 auf Serverseite zu JDK 17 migriert. Dieses Upgrade umfasst die folgenden Verhaltensänderungen:
Korrekte Parsing von Regex-Mustern mit Negation in verschachtelten Zeichengruppen: Mit diesem Upgrade unterstützt Azure Databricks nun das korrekte Parsen von Regex-Mustern mit Negation in verschachtelten Zeichengruppen. Beispielsweise wird
[^[abc]]als "jedes Zeichen, das NICHT eines von 'abc' ist" geparst.Das Verhalten von Photon war zudem im Vergleich zu Spark inkonsistent bei geschachtelten Zeichenklassen. RegEx-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist ein beliebiges Muster, das eckige Klammern in eckigen Klammern enthält, z. B.
[[a-c][1-3]].
Version 15.1
23. Juli 2024
Dieses serverlose Computingrelease entspricht ungefähr Databricks Runtime 15.1
Neue Funktionen
Unterstützung für die Star-(*)-Syntax in der WHERE Klausel: Sie können jetzt die Star-(*)-Syntax in der WHERE Klausel verwenden, um alle Spalten aus der SELECT Liste zu referenzieren.
Beispiel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).
Changes
Verbesserte Fehlerwiederherstellung für JSON-Parsing: Der JSON-Parser, der für from_json() und JSON-Pfad-Ausdrücke verwendet wird, erholt sich nun schneller von fehlgeleiteter Syntax, was zu weniger Datenverlust führt.
Bei falsch formatierter JSON-Syntax in einem Strukturfeld, einem Arraywert, einem Schlüssel oder einem Wert gibt der JSON-Parser NULL jetzt nur für das unlesbare Feld, den Schlüssel oder das Element zurück. Nachfolgende Felder, Schlüssel oder Elemente werden ordnungsgemäß analysiert. Vor dieser Änderung hat der JSON-Parser die Analyse des Arrays, der Struktur oder der Zuordnung abgebrochen und für den verbleibenden Inhalt NULL zurückgegeben.
Version 14.3
15. April 2024
Dies ist die Anfangsversion für serverloses Computing. Diese Version entspricht ungefähr Databricks Runtime 14.3 mit einigen Änderungen, um die Unterstützung für einige nicht serverlose und Legacy-Features zu entfernen.
Unterstützte Spark-Konfigurationsparameter
Um die Konfiguration von Spark bei serverlosem Computing zu automatisieren, hat Azure Databricks die Unterstützung für die manuelle Einstellung der meisten Spark-Konfigurationen entfernt. Eine Liste der unterstützten Spark-Konfigurationsparameter finden Sie unter Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge.
Aufträge auf serverlosen Ressourcen schlagen fehl, wenn Sie eine nicht unterstützte Spark-Konfiguration festlegen.
input_file-Funktionen sind veraltet.
Die Funktionen input_file_name(), input_file_block_length() und input_file_block_start() wurden ausgemustert. Von der Verwendung dieser Funktionen wird dringend abgeraten.
Verwenden Sie stattdessen die Spalte mit Dateimetadaten, um Dateimetadaten abzurufen.
Verhaltensänderungen
Die Version 2024.15 des serverlosen Computing enthält folgende Verhaltensänderungen:
-
unhex(hexStr) Fehlerbehebung: Bei Verwendung der
unhex(hexStr)Funktion wird hexStr immer links auf ein ganzes Byte gepolstert. Zuvor wurde das erste halbe Byte von der unhex-Funktion ignoriert. Beispiel:unhex('ABC')erzeugt jetztx'0ABC'anstattx'BC'. - Automatisch generierte Spaltenaliase sind nun stabil: Wenn das Ergebnis eines Ausdrucks ohne benutzerdefiniertes Spaltenalias referenziert wird, ist dieses automatisch generierte Alias nun stabil. Der neue Algorithmus führt möglicherweise zu einer Änderung der zuvor automatisch generierten Namen, die in Features wie materialisierten Ansichten verwendet werden.
-
Tabellenscans mit
CHARTypfeldern sind nun immer gepolstert: Delta-Tabellen, bestimmte JDBC-Tabellen und externe Datenquellen speichern CHAR-Daten in nicht gepolsterter Form. Beim Lesen werden die Daten von Azure Databricks jetzt mit Leerzeichen auf die deklarierte Länge aufgefüllt, um eine korrekte Semantik sicherzustellen. -
Casts von BIGINT/DECIMAL zu TIMESTAMP erzeugen eine Ausnahme für überlaufene Werte: Azure Databricks erlaubt das Casting von BIGINT und DECIMAL zu TIMESTAMP, indem der Wert als Sekundenzahl aus der Unix-Epoche behandelt wird. Zuvor wurden von Azure Databricks übergelaufene Werte zurückgegeben. Nun wird jedoch im Falle eines Überlaufs eine Ausnahme ausgelöst. Verwenden Sie
try_cast, um NULL anstelle einer Ausnahme zurückzugeben. -
Die Ausführung von PySpark UDF wurde verbessert, damit sie dem exakten Verhalten der UDF-Ausführung auf dedizierten Compute-Ressourcen entspricht: Die folgenden Änderungen wurden vorgenommen:
- Von UDFs mit einem Zeichenfolgen-Rückgabetyp werden nicht mehr implizit zeichenfolgenfremde Werte in Zeichenfolgen konvertiert. Zuvor wurde von UDFs mit dem Rückgabetyp
strunabhängig vom tatsächlichen Datentyp des zurückgegebenen Werts einstr(..)-Wrapper auf das Ergebnis angewendet. - Von UDFs mit Rückgaben vom Typ
timestampwird implizit keine Zeitzonenkonvertierung mehr auf Zeitstempel angewendet.
- Von UDFs mit einem Zeichenfolgen-Rückgabetyp werden nicht mehr implizit zeichenfolgenfremde Werte in Zeichenfolgen konvertiert. Zuvor wurde von UDFs mit dem Rückgabetyp