Teilen über

Versionshinweise für serverloses Computing

In diesem Artikel werden die Features und Verhaltensweisen erläutert, die derzeit für serverloses Computing für Notebooks und Aufträge verfügbar und geplant sind.

Weitere Informationen zu serverlosem Computing finden Sie unter Herstellen einer Verbindung mit serverlosem Computing.

Azure Databricks veröffentlicht regelmäßig Updates für serverloses Computing und upgradet automatisch die Runtime für serverloses Computing, um Verbesserungen und Upgrades auf der Plattform zu unterstützen. Alle Benutzenden erhalten innerhalb eines kurzen Zeitraums die gleichen Updates.

Versionen der serverlosen Umgebung

Serverlose Berechnung für Notizbücher und Aufträge verwendet Umgebungsversionen, die eine stabile Client-API basierend auf Spark Connect bereitstellen, um die Anwendungskompatibilität sicherzustellen. Auf diese Weise können Databricks den Server unabhängig aktualisieren, Leistungsverbesserungen, Sicherheitsverbesserungen und Fehlerbehebungen bereitstellen, ohne dass Codeänderungen an Workloads erforderlich sind.

Jede Umgebungsversion enthält eine bestimmte Python-Version und eine Reihe von Python-Paketen mit definierten Versionen. Databricks führt neue Features und Korrekturen in der neuesten Umgebungsversion ein, während Sicherheitsupdates auf alle unterstützten Umgebungsversionen angewendet werden.

Informationen zu Versionshinweisen für serverlose Umgebungen finden Sie unter Serverless Environment Versions.

Versionshinweise

Dieser Abschnitt enthält Versionshinweise für serverloses Computing. Versionshinweise sind nach Jahr und Woche des Jahres strukturiert. Serverloses Computing wird immer mit dem zuletzt veröffentlichten Release ausgeführt, das hier aufgeführt ist.

Version 17.3

28. Oktober 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.3 LTS.

Neue Funktionen

  • LIMIT Vollständige Unterstützung für rekursive CTEs: Sie können jetzt die LIMIT ALL-Klausel mit einem rekursiven allgemeinen Tabellenausdruck (rCTE) verwenden, um explizit anzugeben, dass kein Zeilenlimit auf die Abfrageergebnisse angewendet werden soll. Siehe allgemeiner Tabellenausdruck (Common Table Expression, CTE).

  • Das Anfügen an Dateien in Unity Catalog-Volumes gibt einen korrekten Fehler zurück: Wenn Sie versuchen, vorhandene Dateien in Unity Catalog-Volumes anzufügen, wird jetzt eine aussagekräftigere Fehlermeldung zurückgegeben, um das Problem zu verstehen und zu beheben.

  • st_dump Funktionsunterstützung: Sie können nun die st_dump Funktion verwenden, um ein Geometrieobjekt in seine Bestandteile zu zerlegen und eine Reihe einfacherer Geometrien zurückzugeben. Siehe st_dump Funktion.

  • Polygon-Innenringfunktionen werden jetzt unterstützt: Sie können jetzt die folgenden Funktionen verwenden, um mit polygonalen Innenringen zu arbeiten:

    • st_numinteriorrings: Ruft die Anzahl der inneren Begrenzungen (Ringe) eines Polygons ab. Siehe st_numinteriorrings Funktion.
    • st_interiorringn: Extrahieren Sie die n-te innere Begrenzung eines Polygons und geben Sie sie als LineString zurück. Siehe st_interiorringn Funktion.

  • EXECUTE IMMEDIATE Verwenden von Konstantenausdrücken: Die EXECUTE IMMEDIATE Anweisung unterstützt jetzt die Verwendung von Konstantenausdrücken in der Abfragezeichenfolge und ermöglicht eine flexiblere dynamische SQL-Ausführung. Siehe EXECUTE IMMEDIATE.

  • In serverloser Berechnung zulassenspark.sql.files.maxPartitionBytes: Sie können jetzt die spark.sql.files.maxPartitionBytes Spark-Konfigurationsparameter auf serverloser Berechnung, um die maximale Anzahl von Bytes zu steuern, die beim Lesen von Dateien in eine einzelne Partition verpackt werden sollen. Siehe Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge.

Verhaltensänderungen

  • Unterstützen Sie MV/ST-Aktualisierungsinformationen in DESCRIBE EXTENDED AS JSON: Der DESCRIBE EXTENDED AS JSON Befehl enthält jetzt Aktualisierungsinformationen für materialisierte Ansichten und Streamingtabellen und bietet Einblicke in die letzte Aktualisierungszeit und den Status.

  • Fügen Sie eine Metadatenspalte zu DESCRIBE QUERY und DESCRIBE TABLE hinzu: Die DESCRIBE QUERY und DESCRIBE TABLE Befehle enthalten nun eine Metadatenspalte in der Ausgabe und bieten zusätzliche Informationen zu den Eigenschaften und Merkmalen der einzelnen Spalten.

  • Korrekte Behandlung von NULL-Strukturen beim Ablegen von NullType-Spalten: Azure Databricks behandelt jetzt beim Ablegen von Spalten NullTyperichtig NULL-Strukturwerte, um potenzielle Datenbeschädigungen oder unerwartetes Verhalten zu verhindern.

  • Verbesserte Handhabung von Null-Strukturen in Parkett: Diese Version enthält Verbesserungen der Handhabung von Null-Strukturwerten beim Lesen und Schreiben in Parkettdateien, wodurch ein konsistentes und korrektes Verhalten gewährleistet wird.

  • Upgrade aws-msk-iam-auth library for Kafka: Die für die Amazon MSK IAM-Authentifizierung verwendete Bibliothek wurde auf die neueste Version aktualisiert und bietet verbesserte Sicherheit und Kompatibilität.

Version 17.2

25. September 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.2.

Neue Funktionen

  • ST_ExteriorRing Funktion wird jetzt unterstützt: Sie können jetzt die ST_ExteriorRing Funktion verwenden, um die äußere Grenze eines Polygons zu extrahieren und als Linienzeichenfolge zurückzugeben. Siehe st_exteriorring Funktion.

  • Schlüsselwort TEMPORARY zur Unterstützung der Erstellung von Metriksichten: Sie können jetzt das TEMPORARY Schlüsselwort verwenden, um eine Metriksicht zu erstellen. Temporäre Metrikansichten sind nur in der Sitzung sichtbar, die sie erstellt hat, und werden gelöscht, wenn die Sitzung endet. Siehe CREATE VIEW.

  • Natives E/A für LokiFileSystem.getFileStatus auf S3 verwenden: LokiFileSystem.getFileStatus verwendet jetzt den nativen E/A-Stack für Amazon S3-Verkehr und gibt org.apache.hadoop.fs.FileStatus Objekte anstelle von shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus zurück.

  • Auto Loader leitet Partitionsspalten im singleVariantColumn Modus ab: Auto Loader leitet jetzt Partitionsspalten von Dateipfaden ab, wenn Daten als semistrukturierter Variant-Typ mithilfe der singleVariantColumn Option aufgenommen werden. Zuvor wurden Partitionsspalten nicht automatisch erkannt. Weitere Informationen finden Sie unter "Optionen für das automatische Laden".

Verhaltensänderungen

  • DESCRIBE CONNECTION zeigt Umgebungseinstellungen für SHAPES-Verbindungen an: Azure Databricks enthält jetzt benutzerdefinierte Umgebungseinstellungen in der DESCRIBE CONNECTION Ausgabe für SHAPES-Verbindungen, die benutzerdefinierte Treiber unterstützen und isoliert ausgeführt werden. Andere Verbindungstypen bleiben unverändert.

  • Option zum Abschneiden des einheitlichen Verlaufs während der Migration verwalteter Tabellen: Sie können jetzt den einheitlichen Verlauf abschneiden, wenn Sie Tabellen mit aktiviertem Uniform/Iceberg migrieren ALTER TABLE...SET MANAGED. Dies vereinfacht Migrationen und reduziert Ausfallzeiten im Vergleich zum manuellen Deaktivieren und erneuten Aktivieren von Uniform.

  • Richtige Ergebnisse mit split leerem regex und positivem Grenzwert: Azure Databricks gibt jetzt bei Verwendung split function mit einem leeren Regex und einem positiven Grenzwert die richtigen Ergebnisse zurück. Zuvor hat die Funktion die verbleibende Zeichenfolge falsch abgeschnitten, anstatt sie in das letzte Element einzubinden.

  • Korrigieren url_decode und try_url_decode Fehlerbehandlung in Photon: In Photon geben try_url_decode()url_decode() mit failOnError = false jetzt NULL für ungültige URL-kodierte Zeichenfolgen zurück, anstatt dass die Abfrage fehlschlägt.

  • Freigegebene Ausführungsumgebung für Unity Catalog Python UDTFs: Azure Databricks teilt jetzt die Ausführungsumgebung für Python-Benutzerdefinierte Tabellenfunktionen (UDTFs) desselben Besitzers und derselben Spark-Sitzung. Eine optionale STRICT ISOLATION Klausel ist verfügbar, um die Freigabe für UDTFs mit Nebeneffekten zu deaktivieren, z. B. das Ändern von Umgebungsvariablen oder das Ausführen von beliebigem Code.

Version 17.1

19. August 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.1.

Neue Funktionen

  • Verringerte Speicherauslastung für weite Schemas im Photon Writer: Verbesserungen wurden an der Photon-Engine vorgenommen, die die Speicherauslastung für weite Schemas erheblich reduzieren und Szenarien behandeln, die zuvor zu Speicherüberlauf-Fehlern geführt haben.

Verhaltensänderungen

  • Fehler, der für ungültige CHECK Einschränkungen ausgelöst wird: Azure Databricks löst jetzt einen AnalysisException Auslöser aus, wenn ein CHECK Einschränkungsausdruck während der Einschränkungsüberprüfung nicht aufgelöst werden kann.

  • Pulsar-Konnektor macht Bouncy Castle nicht mehr verfügbar: Die Bouncy-Castle-Bibliothek ist jetzt im Pulsar-Konnektor gekapselt, um Klassenpfadkonflikte zu verhindern. Daher können Spark-Aufträge nicht mehr über den Connector auf Klassen zugreifen org.bouncycastle.* . Wenn Ihr Code von Bouncy Castle abhängt, installieren Sie die Bibliothek manuell in der serverlosen Umgebung.

  • Auto Loader verwendet Standardmäßig Dateiereignisse: Auto Loader verwendet Dateiereignisse anstelle der Verzeichnisauflistung, wenn der Ladepfad ein externer Speicherort mit aktivierten Dateiereignissen ist. Der Standardwert useManagedFileEvents ist jetzt if_available (war false). Dies kann die Datenaufnahmeleistung verbessern und eine Warnung protokollieren, wenn Dateiereignisse noch nicht aktiviert sind.

  • Der Teradata-Connector ermöglicht einen fallunterscheidenden Zeichenfolgenvergleich: Der Teradata-Connector wird jetzt standardmäßig TMODE=ANSIauf das Vergleichsverhalten von Zeichenfolgen mit Azure Databricks ausgerichtet, indem die Groß- und Kleinschreibung beachtet wird. Diese Änderung ist konfigurierbar und wirkt sich nicht auf vorhandene Benutzer aus, es sei denn, sie melden sich an.

Serverlose Umgebung, Version 4

13. August 2025

Umgebungsversion 4 ist jetzt in Ihren serverlosen Notizbüchern und Aufträgen verfügbar. Diese Umgebungsversion enthält Bibliotheksupgrades und API-Updates. Siehe Serverless Environment, Version 4.

Version 17.0

24. Juli 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 17.0.

Neue Funktionen

  • SQL-Prozedurunterstützung: SQL-Skripts können jetzt in einer Prozedur gekapselt werden, die als wiederverwendbare Ressource im Unity-Katalog gespeichert ist. Sie können eine Prozedur mit dem Befehl CREATE PROCEDURE erstellen und dann mithilfe des Befehls CALL aufrufen.

  • Legen Sie eine Standardsortierung für SQL-Funktionen fest: Die Verwendung der neuen DEFAULT COLLATION Klausel im CREATE FUNCTION Befehl definiert die Standardsortierung, die für STRING Parameter, den Rückgabetyp und STRING Literale im Funktionstext verwendet wird.

  • Rekursive allgemeine Tabellenausdrücke (rCTE)-Unterstützung: Azure Databricks unterstützt jetzt die Navigation von hierarchischen Daten mithilfe rekursiver allgemeiner Tabellenausdrücke (rCTEs). Verwenden Sie eine selbstverweisende CTE mit UNION ALL, um der rekursiven Beziehung zu folgen.

  • PySpark und Spark Connect unterstützen jetzt dataFrames df.mergeInto API: PySpark und Spark Connect unterstützen jetzt die df.mergeInto API.

  • Unterstützung ALL CATALOGS in SHOW SCHEMAS: Die SHOW SCHEMAS Syntax wird aktualisiert, sodass ALL CATALOGSSie alle aktiven Kataloge durchlaufen können, die Namespaces unterstützen. Die Ausgabeattribute enthalten nun eine catalog Spalte, die den Katalog des entsprechenden Namespaces angibt.

  • Liquid Clustering komprimiert Löschvektoren jetzt effizienter: Delta-Tabellen mit flüssigem Clustering wenden jetzt physische Änderungen von Löschvektoren effizienter an, wenn OPTIMIZE sie ausgeführt werden. Weitere Details finden Sie unter Anwenden von Änderungen an Parkettdatendateien.

  • Nicht-deterministische Ausdrücke zulassen in UPDATE/INSERT Spaltenwerte für MERGE Vorgänge: Azure Databricks ermöglicht jetzt die Verwendung nicht deterministischer Ausdrücke in aktualisierten und eingefügten Spaltenwerten von MERGE Vorgängen. Beispielsweise können Sie jetzt dynamische oder zufällige Werte für Spalten mithilfe von Ausdrücken wie rand() generieren.

  • Ändern Sie die Delta MERGE Python-APIs so, dass sie einen DataFrame anstelle von Unit zurückgeben: Die Python-APIs (z. B. MERGE, DeltaMergeBuilder) geben jetzt ebenfalls einen DataFrame wie die SQL-APIs zurück, mit denselben Ergebnissen.

Verhaltensänderungen

  • Verhaltensänderung für die inkrementelle Verzeichnisauflistungsoption "Auto Loader": Der Wert der veralteten "Auto Loader"-Option cloudFiles.useIncrementalListing wird jetzt auf einen Standardwert von false festgelegt. Dadurch führt diese Änderung dazu, dass Auto Loader jedes Mal, wenn er ausgeführt wird, eine vollständige Verzeichnisauflistung durchführt. Databricks rät von der Verwendung dieser Option ab. Verwenden Sie stattdessen den Dateibenachrichtigungsmodus mit Dateiereignissen.

  • CREATE VIEW Klauseln auf Spaltenebene lösen jetzt Fehler aus, wenn die Klausel nur für materialisierte Ansichten gelten würde: CREATE VIEW Befehle, die eine Klausel auf Spaltenebene angeben, die nur für MATERIALIZED VIEWs gültig ist, lösen jetzt einen Fehler aus. Die betroffenen Klauseln enthalten NOT NULL, angegebene Datentypen und DEFAULTCOLUMN MASK.

Ziele mit serverloser Leistung sind allgemein verfügbar.

10. Juni 2025

Die Auswahl der serverlosen Leistungseinstellung für Aufträge und Pipelines ist jetzt allgemein verfügbar.

Wenn die Einstellung "Leistungsoptimiert " aktiviert ist, ist Ihre Workload für schnellere Start- und Ausführungszeit optimiert. Wenn sie deaktiviert ist, wird die serverlose Workload im Standardleistungsmodus ausgeführt, der für Kosten optimiert ist und eine etwas höhere Startlatenz aufweist.

Weitere Informationen finden Sie unter Auswählen eines Leistungsmodus und Auswählen eines Leistungsmodus.

Version 16.4

28. Mai 2025

Diese Serverless-Compute-Version entspricht ungefähr Databricks Runtime 16.4 LTS.

Verhaltensänderungen

  • Fix zum Respektieren von Optionen für gecachte Pläne von Datenquellen: Dieses Update stellt sicher, dass Tabellenlesungen die für alle Pläne von Datenquellen festgelegten Optionen respektieren, wenn sie zwischengespeichert werden, und nicht nur die erste gecachte Tabellenlesung. Zuvor hatte die Datenquellentabelle den ersten Plan zwischengespeichert, konnte jedoch bei nachfolgenden Abfragen verschiedene Optionen nicht berücksichtigen.

  • Aktivieren Sie das Flag, um die Quellmaterialisierung für MERGE-Vorgänge zwingend erforderlich zu machen: Zuvor konnten Benutzer die Quellmaterialisierung in MERGE deaktivieren, indem sie auf merge.materializeSource setzten. Wenn das neue Flag aktiviert ist, ist die Materialisierung der Datenquelle immer erforderlich, und der Versuch, sie zu deaktivieren, führt zu einem Fehler. Databricks plant, dieses Flag nur für Kunden zu aktivieren, die diese Konfiguration noch nicht geändert haben, sodass die meisten Benutzer keine Verhaltensänderung erleben sollten.

Neue Funktionen

  • Auto Loader kann jetzt verarbeitete Dateien im Quellverzeichnis bereinigen: Sie können jetzt das automatische Laden anweisen, Dateien, die verarbeitet wurden, automatisch zu verschieben oder zu löschen. Aktivieren Sie dieses Feature mithilfe der cloudFiles.cleanSource Option "Automatisches Laden". Weitere Informationen finden Sie unter " Optionen für das automatische Laden" unter cloudFiles.cleanSource.

  • Unterstützung für Typerweiterung beim Streaming von Delta-Tabellen: Diese Version bietet Unterstützung für das Streaming von Delta-Tabellen, die Spalten mit Typerweiterung enthalten, und für die gemeinsame Nutzung einer Delta-Tabelle mit aktivierter Typerweiterung über Databricks-to-Databricks Delta Sharing. Die Funktion zur Typerweiterung befindet sich aktuell in der öffentlichen Vorschau. Weitere Informationen finden Sie unter Typerweiterung.

  • IDENTIFIER Unterstützung jetzt in DBSQL für Katalogvorgänge verfügbar: Sie können die Klausel jetzt verwenden, wenn Sie die IDENTIFIER folgenden Katalogvorgänge ausführen:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Mit dieser neuen Syntax können Sie Katalognamen dynamisch mithilfe von Parametern angeben, die für diese Vorgänge definiert sind, wodurch flexiblere und wiederverwendbare SQL-Workflows ermöglicht werden. Berücksichtigen Sie CREATE CATALOG IDENTIFIER(:param) als Beispiel für die Syntax, wo param ein Parameter angegeben wird, um einen Katalognamen anzugeben. Siehe IDENTIFIER Klausel.

  • Zusammengesetzt Ausdrücke bieten jetzt automatisch generierte transiente Aliase: Autogenerierte Aliase für zusammengesetzt Ausdrücke enthalten jetzt deterministisch COLLATE-Informationen. Automatisch generierte Aliase sind vorübergehend (instabil) und sollten nicht verwendet werden. Verwenden Sie expression AS alias stattdessen als bewährte Methode konsistent und explizit.

  • Hinzufügen von Filter-Pushdown-API-Unterstützung zu Python-Datenquellen: Serverless Compute unterstützt jetzt Filter-Pushdown auf Python-Datenquellenbatches, die als API gelesen werden, ähnlich der SupportsPushDownFilters Schnittstelle. Siehe Versionshinweise zu 16.4 LTS.

  • Python UDF-Ablaufverfolgungsverbesserung: Die Python-UDF-Ablaufverfolgung enthält jetzt Frames sowohl vom Treiber als auch vom Executor zusammen mit Clientframes, was zu besseren Fehlermeldungen führt, die größere und relevantere Details anzeigen (z. B. den Zeileninhalt von Frames innerhalb einer UDF).

  • UNION/EXCEPT/INTERSECT in einer Ansicht und EXECUTE IMMEDIATE geben jetzt korrekte Ergebnisse zurück: Abfragen für temporäre und persistente Ansichtsdefinitionen mit oberster Ebene UNION/EXCEPT/INTERSECT und nicht aliasierte Spalten haben zuvor falsche Ergebnisse zurückgegeben, da UNION/EXCEPT/INTERSECT Schlüsselwörter als Aliase betrachtet wurden. Diese Abfragen führen jetzt das gesamte Set korrekt aus.

  • Anleitung zur Konfiguration und Migration von Cached-Plan für Datenquellen: Beim Lesen aus einer Quelltabelle werden Abfrageoptionen (z.B. Trennzeichen) korrekt berücksichtigt. Zuvor wurde der erste Abfrageplan zwischengespeichert und nachfolgende Optionsänderungen ignoriert. Um das vorherige Verhalten wiederherzustellen, legen Sie spark.sql.legacy.readFileSourceTableCacheIgnoreOptions auf true fest.

  • Neue listagg und string_agg Funktionen: Ab dieser Version können Sie die listagg oder string_agg Funktionen verwenden, um STRING und BINARY Werte innerhalb einer Gruppe zu aggregieren. Siehe string_agg.

Der Leistungsmodus kann jetzt auf serverlosen Aufträgen konfiguriert werden.

14. April 2025

Sie können nun den Leistungsmodus eines serverlosen Auftrags auswählen, indem Sie die Einstellung "Leistung optimiert " auf der Seite mit den Auftragsdetails verwenden. Bisher wurden alle serverlosen Aufträge leistungsoptimiert. Jetzt können Sie die Einstellung "Leistung optimiert " deaktivieren, um die Workload im Standardleistungsmodus auszuführen. Der Standard-Peformance-Modus wurde entwickelt, um Kosten für Workloads zu reduzieren, bei denen eine etwas höhere Startlatenz akzeptabel ist.

Der Standardleistungsmodus wird für fortlaufende Pipelines, einmalige Ausführungen, die mit dem runs/submit Endpunkt erstellt wurden, oder SQL Warehouse-Auftragsaufgaben, einschließlich materialisierter Ansichten, nicht unterstützt.

Weitere Informationen zum Leistungsmodus finden Sie unter Auswählen eines Leistungsmodus.

Version 16.3

9. April 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 16.3.

Verhaltensänderungen

  • *Verbesserte Fehlermeldung, wenn kafka.sasl.client.callback.handler.class einem ungültigen Wert zugewiesen wird: Diese Version enthält eine Änderung, um eine aussagekräftigere Fehlermeldung zurückzugeben, wenn kafka.sasl.client.callback.handler.class ein ungültiger Wert zugewiesen wird.

Neue Funktionen

  • Unterstützung für Statusleser ist allgemein verfügbar: Unterstützung für das Lesen von Statusinformationen für strukturierte Streaming-Abfragen ist jetzt allgemein auf serverlosem Computing verfügbar. Weitere Informationen finden Sie unter Lesen von strukturierten Streamingstatusinformationen.

  • Delta-Tabellenprotokoll-Herabstufung ist allgemein verfügbar mit Prüfpunktschutz: DROP FEATURE zum Entfernen von Delta Lake-Tabellenfeatures und zum Herabstufen des Tabellenprotokolls ist allgemein verfügbar. Standardmäßig erstellt DROP FEATURE jetzt geschützte Prüfpunkte für eine optimierte und vereinfachte Downgrade-Erfahrung, die keine Wartezeit oder Verlaufskürzung erfordert. Weitere Informationen finden Sie unter Löschen eines Delta Lake-Tabellenfeatures und Herabstufen des Tabellenprotokolls.

  • Schreiben von prozeduralen SQL-Skripts basierend auf ANSI SQL/PSM (Public Preview): Sie können jetzt Skriptfunktionen basierend auf ANSI SQL/PSM verwenden, um prozedurale Logik mit SQL zu schreiben, einschließlich Steuerungsflussanweisungen, lokalen Variablen und Ausnahmebehandlung. Weitere Informationen finden Sie unter SQL-Skripting.

  • Standardsortierung auf Tabellen- und Ansichtsebene: Sie können jetzt eine Standardsortierung für Tabellen und Ansichten angeben. Dies vereinfacht die Erstellung von Tabellen und Ansichten, bei denen alle oder die meisten Spalten dieselbe Sortierung aufweisen. Siehe Sortierung.

  • Neue H3-Funktionen: Es wurden drei neue H3-Funktionen hinzugefügt: h3_try_coverash3, h3_try_coverash3string und h3_try_tessellateaswkb.

  • Ändern mehrerer Tabellenspalten in einer ALTER TABLE Anweisung: Sie können jetzt mehrere Spalten in einer einzelnen ALTER TABLE Anweisung ändern. Siehe ALTER TABLE ... COLUMN -Klausel.

Version 16.2

13. März 2025

Diese serverlose Computeversion entspricht ungefähr Databricks Runtime 16.2.

Verhaltensänderungen

  • In der Delta-Freigabe ist der Tabellenverlauf standardmäßig aktiviert: Freigaben, die mittels des SQL-Befehls ALTER SHARE <share> ADD TABLE <table> erstellt wurden, haben nun standardmäßig die Verlaufshistorie (WITH HISTORY) aktiviert. Siehe ALTER SHARE.

  • SQL-Anweisungen für Anmeldeinformationen geben einen Fehler zurück, wenn ein Nichtübereinstimmung des Anmeldeinformationstyps vorliegt: Wenn der in einer SQL-Anweisung für die Anmeldeinformationsverwaltung angegebene Anmeldeinformationstyp nicht mit dem Typ des Anmeldeinformationsarguments übereinstimmt, wird ein Fehler zurückgegeben, und die Anweisung wird nicht ausgeführt.

Neue Funktionen

  • Verwenden Sie die timestampdiff & timestampadd in generierten Spaltenausdrücken. Sie können jetzt die timestampdiff und timestampadd-Funktionen in generierten Spaltenausdrücken von Delta Lake verwenden. Siehe Verwenden der von Delta Lake generierten Spalten.

  • Aktualisieren, um DESCRIBE TABLE Metadaten als strukturiertes JSON zurückzugeben: Sie können nun den DESCRIBE TABLE AS JSON Befehl verwenden, um Tabellenmetadaten als JSON-Dokument zurückzugeben. Die JSON-Ausgabe ist strukturierter als der vom Benutzer lesbare Standardbericht und kann zum programmgesteuerten Interpretieren des Schemas einer Tabelle verwendet werden. Weitere Informationen finden Sie unter DESCRIBE TABLE AS JSON.

  • Sortierungen ohne Beachtung nachstehender Leerzeichen: Serverless unterstützt jetzt Sortierungen ohne Beachtung nachstehender Leerzeichen. Beispielsweise behandeln diese Sortierungen 'Hello' und 'Hello ' gleich. Weitere Informationen finden Sie unter RTRIM-Sortierung.

Fehlerbehebungen

  • Verbesserte inkrementelle Klonverarbeitung: Diese Version enthält eine Lösung für einen Spezialfall, bei dem es passieren kann, dass Dateien im Rahmen eines inkrementellen Prozesses erneut aus einer Quelltabelle in eine Zieltabelle kopiert werden. Siehe Klonen einer Tabelle in Azure Databricks.

Verfügbare Einstellung für oberen Speicher auf serverlosen Notebooks (Public Preview)

7. Februar 2025

Sie können jetzt eine höhere Arbeitsspeichergröße für Ihre serverlosen Rechennotizbucharbeitslasten konfigurieren. Diese Einstellung kann sowohl auf interaktive als auch auf geplante Notizbucharbeitslasten angewendet werden.

Die serverlose Verwendung mit hohem Arbeitsspeicher hat eine höhere DBU-Emissionsrate als standardspeicher.

Weitere Informationen finden Sie unter Verwenden der serverlosen Berechnung mit hohem Arbeitsspeicher.

Version 16.1

5. Februar 2025

Dieses serverlose Compute-Release entspricht ungefähr Databricks Runtime 16.0 und Databricks Runtime 16.1.

Neue Funktionen

  • Avro-Unterstützung für rekursives Schema: Sie können jetzt die Option recursiveFieldMaxDepth mit der funktion from_avro und der avro Datenquelle verwenden. Diese Option legt die maximale Tiefe für die Schema rekursion in der Avro-Datenquelle fest. Weitere Informationen finden Sie unter Lesen und Schreiben von Avro-Streamingdaten.
  • Erweiterte Unterstützung für Confluent Schema Registry für Avro: Serverless unterstützt jetzt Avro-Schemareferenzen mit dem Confluent Schema Registry. Weitere Informationen finden Sie unter Authentifizieren bei einer externen Schemaregistrierung von Confluent.
  • Erzwingen der Neuclusterung auf Tabellen mit flüssigem Clustering: Sie können jetzt die OPTIMIZE FULL-Syntax verwenden, um die Neuclusterung aller Datensätze in einer Tabelle mit aktivierter Flüssigclusterung zu erzwingen. Weitere Informationen finden Sie unter Erzwingen eines erneuten Clusterings für alle Datensätze.
  • Die Delta-APIs für Python unterstützen jetzt Identitätsspalten: Sie können jetzt die Delta-APIs für Python verwenden, um Tabellen mit Identitätsspalten zu erstellen. Weitere Informationen finden Sie unter Verwenden von Identitätsspalten in Delta Lake.
  • Erstellen flüssig gruppierter Tabellen während des Streaming-Schreibvorgangs: Sie können jetzt clusterBy verwenden, um flüssiges Clustering zu ermöglichen, wenn Sie neue Tabellen mit Strukturiertem Streaming erstellen. Weitere Informationen finden Sie unter Aktivieren des Liquid Clustering.
  • Unterstützung für die OPTIMIZE FULL-Klausel: Serverloses Rechnen unterstützt jetzt die OPTIMIZE FULL-Klausel. Diese Klausel optimiert alle Datensätze in einer Tabelle, die flüssigen Clustering verwendet, einschließlich Daten, die zuvor gruppiert wurden.
  • Unterstützung der Spezifikation von WITH-Optionen in INSERT und Tabellenreferenzen: Serverloses Computing unterstützt jetzt die Spezifikation von Optionen für Tabellenreferenzen und Tabellennamen einer INSERT-Anweisung, die zum Steuern des Verhaltens von Datenquellen verwendet werden kann.
  • Neue SQL-Funktionen: Die folgenden SQL-Funktionen sind jetzt auf serverloser Berechnung verfügbar:
    • try_url_decode ist eine fehlertolerante Version von url_decode.
    • zeroifnull gibt 0 zurück, wenn der Eingabeausdruck für die Funktion zeroifnull() als NULLvorliegt.
    • nullifzero gibt NULL zurück, wenn die Eingabe 0 ist, oder die Eingabe selbst, wenn sie nicht 0 ist.
    • dayname(expr) gibt das englische Akronym mit drei Buchstaben für den Wochentag für das angegebene Datum zurück.
    • uniform(expr1, expr2 [,seed]) gibt einen Zufallswert mit unabhängigen und identisch verteilten Werten innerhalb des angegebenen Zahlenbereichs zurück.
    • randstr(length) gibt eine zufällige Zeichenfolge aus length alphanumerischen Zeichen zurück.
  • Automatische Schemaentwicklung beim Zusammenführen von Daten in eine Delta-Tabelle aktivieren: Support wurde für das withSchemaEvolution() Mitglied der DeltaMergeBuilder-Klasse hinzugefügt. Verwenden Sie withSchemaEvolution(), um die automatische Schemaentwicklung während MERGE Vorgängen zu aktivieren. Beispiel: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
  • Unterstützung von Sortierungen in Apache Spark befindet sich in der Public Preview: Sie können jetzt sprachspezifische Sortierungen, bei denen die Groß-/Kleinbuchstaben und der Zugriff nicht beachtet werden, zu STRING-Spalten und -Ausdrücken zuweisen. Diese Sortierungen werden in Vergleichen von Zeichenfolgen, Sortiervorgängen, Gruppierungsvorgängen und vielen Zeichenfolgenfunktionen verwendet. Siehe Sortierung.
  • Unterstützung für Sortierungen in Delta Lake befindet sich in der öffentlichen Vorschau: Sie können jetzt Sortierungen für Spalten definieren, wenn Sie eine Delta-Tabelle erstellen oder ändern. Weitere Informationen finden Sie unter Sortierungsunterstützung für Delta Lake.
  • LITE-Modus für Vakuum befindet sich in der öffentlichen Vorschauversion: Sie können jetzt VACUUM table_name LITE verwenden, um einen einfacheren Vakuumvorgang auszuführen, der Metadaten im Delta-Transaktionsprotokoll nutzt. Siehe Vollmodus gegenüber Lite-Modus und VACUUM.
  • Unterstützung der Parametrisierung der USE CATALOG with IDENTIFIER-Klausel: Die IDENTIFIER-Klausel wird jetzt für die USE CATALOG-Anweisung unterstützt. Mit dieser Unterstützung können Sie den aktuellen Katalog basierend auf einer Zeichenfolgenvariablen oder Parametermarkierung parametrisieren.
  • COMMENT ON COLUMN Unterstützung für Tabellen und Ansichten: Die COMMENT ON-Anweisung unterstützt jetzt das Ändern von Kommentaren für Ansichts- und Tabellenspalten.
  • Benannter Parameteraufruf für weitere Funktionen: Die folgenden Funktionen unterstützen benannte Parameteraufrufe:
  • Der SYNC METADATA-Parameter für den Befehl REPAIR TABLE wird mit dem Hive-Metaspeicher unterstützt: Sie können jetzt den SYNC METADATA-Parameter mit dem Befehl REPAIR TABLE verwenden, um die Metadaten einer verwalteten Hive-Metastore-Tabelle zu aktualisieren. Siehe REPAIR TABLE.
  • Erweiterte Datenintegrität für komprimierte Apache Arrow-Batches: Um den Schutz vor Datenbeschädigungen zu erhöhen, enthält jeder mit LZ4 komprimierte Arrow-Batch jetzt den LZ4-Inhalt und blockierte Prüfsummen. Weitere Informationen finden Sie unter Beschreibung des LZ4-Frameformats.
  • Integrierter Oracle JDBC-Treiber: Serverloses Computing verfügt jetzt über den integrierten Oracle JDBC-Treiber. Wenn Sie ein vom Kunden hochgeladenes JDBC-Treiber-JAR über DriverManagerverwenden, müssen Sie Skripts neu schreiben, um das benutzerdefinierte JAR explizit zu verwenden. Andernfalls wird der integrierte Treiber verwendet. Dieser Treiber unterstützt nur den Lakehouse-Verbund. Für andere Anwendungsfälle müssen Sie Ihren eigenen Treiber bereitstellen.
  • Detailliertere Fehler für Delta-Tabellen, auf die mit Pfaden zugegriffen wird: Eine neue Fehlermeldung für Delta-Tabellen, auf die mithilfe von Pfaden zugegriffen wird, ist jetzt verfügbar. Alle Ausnahmen werden jetzt an den Benutzer weitergeleitet. Die Ausnahme DELTA_MISSING_DELTA_TABLE ist jetzt reserviert, wenn zugrundeliegende Dateien nicht als Delta-Tabelle gelesen werden können.

Verhaltensänderungen

  • Breaking Change: Hosted RStudio wird eingestellt: Ab diesem Release ist der auf Databricks gehostete RStudio Server eingestellt und in allen Azure Databricks-Arbeitsbereichen nicht mehr verfügbar, die mit serverlosem Computing ausgeführt werden. Weitere Informationen und eine Liste der Alternativen zu RStudio finden Sie unter Connect to a Databricks-hosted RStudio Server.

  • Fehlerhafte Änderung: Entfernung des Supports für das Ändern von byte, short, int und long Typen in breitere Typen: Um ein konsistentes Verhalten in Delta- und Apache Iceberg-Tabellen zu gewährleisten, können die folgenden Datentypänderungen nicht mehr auf Tabellen mit aktivierter Funktion Typenerweiterung angewendet werden:

    • byte, short, int und long bis decimal.
    • byte, shortund int bis double.

  • Korrekte Analyse von Regex-Mustern mit Negation in geschachtelter Zeichengruppierung: Diese Version enthält eine Änderung zur Unterstützung der korrekten Analyse von Regex-Mustern mit Negation in geschachtelter Zeichengruppierung. Beispielsweise wird [^[abc]] als "jedes Zeichen, das NICHT eines von 'abc' ist" geparst.

    Das Verhalten von Photon war zudem im Vergleich zu Spark inkonsistent bei geschachtelten Zeichenklassen. RegEx-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist ein beliebiges Muster, das eckige Klammern in eckigen Klammern enthält, z. B. [[a-c][1-3]].

  • Verbessern der Erkennung doppelter Übereinstimmungen in Delta Lake MERGE:MERGE berücksichtigt jetzt bedingungen, die in der WHEN MATCHED-Klausel angegeben sind. Siehe Ausführen eines Upsert-Vorgangs in einer Delta Lake-Tabelle mithilfe von „Merge“.

  • Die addArtifact()-Funktionalität ist jetzt konsistent über alle Rechenarten hinweg: Wenn Sie addArtifact(archive = True) verwenden, um eine Abhängigkeit zu serverlosem Rechnen hinzuzufügen, wird das Archiv automatisch entpackt.

Fehlerbehebungen

  • Zeitzonenversätze enthalten jetzt Sekunden, wenn sie in CSV, JSON und XML serialisiert werden: Bei Zeitstempeln mit Zeitzonenversatz, die Sekunden enthalten (was bei Zeitstempeln vor 1900 üblich ist), wurden die Sekunden bei der Serialisierung nach CSV, JSON und XML weggelassen. Der Standardformatierer für den Zeitstempel wurde behoben und gibt nun die richtigen Offsetwerte für diese Zeitstempel zurück.

Andere Änderungen

  • Umbenannte Fehlercodes für die cloudFiles Strukturierte Streamingquelle: Die folgenden Fehlercodes wurden umbenannt:
    • _LEGACY_ERROR_TEMP_DBR_0143 wird umbenannt in CF_INCORRECT_STREAM_USAGE.
    • _LEGACY_ERROR_TEMP_DBR_0260 wird umbenannt in CF_INCORRECT_BATCH_USAGE .

Version 15.4

28. Oktober 2024

Dieses Release der serverlosen Berechnung entspricht ungefähr Databricks Runtime 15.4.

Neue Funktionen

  • UTF-8-Überprüfungsfunktionen: In diesem Release werden die folgenden Funktionen zum Überprüfen von UTF-8-Zeichenfolgen eingeführt:
    • is_valid_utf8 überprüft, ob eine Zeichenfolge eine gültige UTF-8-Zeichenfolge ist.
    • make_valid_utf8 konvertiert eine potenziell ungültige UTF-8-Zeichenfolge mit Ersetzungszeichen in eine gültige UTF-8-Zeichenfolge.
    • validate_utf8 löst einen Fehler aus, wenn die Eingabe keine gültige UTF-8-Zeichenfolge ist.
    • try_validate_utf8 gibt NULL zurück, wenn die Eingabe keine gültige UTF-8-Zeichenfolge ist.
  • UniForm Iceberg mit ALTER TABLEaktivieren: Sie können uniForm Iceberg jetzt auf vorhandenen Tabellen aktivieren, ohne Datendateien neu zu schreiben. Siehe Aktivieren von Iceberg-Lesevorgängen in einer vorhandenen Tabelle.
  • try_url_decode-Funktion: Mit diesem Release wird die Funktion try_url_decode eingeführt, mit der eine mit einer URL verschlüsselte Zeichenfolge entschlüsselt wird. Wenn die Zeichenfolge nicht das richtige Format hat, gibt die Funktion NULL zurück, anstatt einen Fehler zu auslösen.
  • Optional können Sie zulassen, dass der Optimierer auf nicht erzwungene Fremdschlüsseleinschränkungen angewiesen ist: Um die Abfrageleistung zu verbessern, können Sie nun das RELY-Schlüsselwort für FOREIGN KEY-Einschränkungen angeben, wenn Sie CREATE oder ALTER für eine Tabelle verwenden.
  • Parallelisierte Jobläufe für selektive Überschreibungen: Selektive Überschreibungen mit replaceWhere führen jetzt Jobs parallel aus, bei denen Daten gelöscht und neue Daten eingefügt werden, wodurch die Abfrageeffizienz und Clusterauslastung verbessert werden.
  • Verbesserte Leistung für Änderungsdatenfeeds mit selektiven Überschreibungen: Selektive Überschreibungen mithilfe von replaceWhere in Tabellen mit Änderungsdatenfeed schreiben keine separaten Änderungsdatendateien für eingefügte Daten mehr. Diese Vorgänge verwenden eine ausgeblendete _change_type-Spalte, die in den zugrunde liegenden Parquet-Datendateien vorhanden ist, um Änderungen ohne Schreibverstärkung aufzuzeichnen.
  • Verbesserte Abfragelatenz für den COPY INTO-Befehl: Dieses Release enthält eine Änderung, die die Abfragelatenz für den COPY INTO-Befehl verbessert. Diese Verbesserung wird umgesetzt, indem das Laden des Zustands im RocksDB-Zustandsspeicher asynchron erfolgt. Dank dieser Änderung sollten Sie eine Verbesserung der Startzeiten für Abfragen mit großen Zuständen feststellen, wie Abfragen mit einer großen Anzahl bereits erfasster Dateien.
  • Unterstützung für das Löschen des Features zum Überprüfen von Einschränkungen in Tabellen: Sie können das checkConstraints-Tabellenfeature jetzt mithilfe von ALTER TABLE table_name DROP FEATURE checkConstraints aus einer Delta-Tabelle löschen. Weitere Informationen finden Sie unter Deaktivieren von Überprüfungseinschränkungen.

Verhaltensänderungen

  • Schemabindungsänderung für Ansichten: Wenn sich die Datentypen in der zugrunde liegenden Abfrage einer Ansicht von denen ändern, die beim ersten Erstellen der Ansicht verwendet wurden, löst Databricks keine Fehler mehr für Verweise auf die Ansicht aus, wenn keine sichere Umwandlung ausgeführt werden kann.

    Stattdessen wird nach Möglichkeit mit regulären Umwandlungs-Regeln ausgeglichen. Diese Änderung ermöglicht es Databricks, Tabellenschemaänderungen besser zu tolerieren.

  • Nicht dokumentierte !-Syntaxtoleranz für externe boolesche NOT-Logik nicht zulassen: Databricks toleriert die Verwendung von ! als Synonym für NOT außerhalb der booleschen Logik nicht mehr. Diese Änderung vermindert Verwirrung, entspricht dem SQL-Standard und macht SQL portierbarer. Beispiel:

    CREATE ... IF ! EXISTS, IS ! NULL, ! NULL-Spalteneigenschaft oder -Feldeigenschaft, ! IN und ! BETWEEN müssen durch Folgendes ersetzt werden:

    CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL Spalten- oder Feldeigenschaft, NOT IN und NOT BETWEEN.

    Der booleschen Präfixoperator! (z. B. !is_mgr oder !(true AND false)) ist von dieser Änderung nicht betroffen.

  • Undokumentierte und nicht verarbeitete Teile der Spaltendefinitionssyntax in Ansichten dürfen nicht zugelassen werden: Databricks unterstützt CREATE VIEW für benannte Spalten und Spaltenkommentare.

    Die Spezifikation von Spaltentypen, NOT NULL-Einschränkungen oder DEFAULT wurde in der Syntax toleriert, ohne dass dies Folgen hat. Databricks entfernt diese Syntaxtoleranz. Dies reduziert Verwirrung, entspricht dem SQL-Standard und ermöglicht zukünftige Verbesserungen.

  • Einheitliche Fehlerbehandlung für die Base64-Decodierung in Spark und Photon: Dieses Release ändert, wie Photon Base64-Decodierungsfehler behandelt, um der Spark-Behandlung dieser Fehler zu entsprechen. Vor diesen Änderungen konnte der Photon- und Spark-Codegenerierungspfad manchmal keine Analyseausnahmen auslösen, während die Spark-Ausführung richtigerweise IllegalArgumentException oder ConversionInvalidInputError auslöste. Mit diesem Update wird sichergestellt, dass Photon bei Base64-Decodierungsfehlern konsistent dieselben Ausnahmen auslöst wie Spark, was eine vorhersehbarere und zuverlässigere Fehlerbehandlung ermöglicht.

  • Das Hinzufügen einer CHECK-Einschränkung für eine ungültige Spalte gibt jetzt die Fehlerklasse UNRESOLVED_COLUMN.WITH_SUGGESTION zurück: Um nützlichere Fehlermeldungen bereitzustellen, gibt in Databricks Runtime 15.3 und höher eine ALTER TABLE ADD CONSTRAINT-Anweisung, die eine CHECK-Einschränkung enthält, die auf einen ungültigen Spaltennamen verweist, die Fehlerklasse UNRESOLVED_COLUMN.WITH_SUGGESTION zurück. Zuvor wurde INTERNAL_ERROR zurückgegeben.

Das JDK wird von JDK 8 auf JDK 17 geupgradet.

15. August 2024

Serverloses Computing für Notebooks und Workflows wurde von Java Development Kit (JDK) 8 auf Serverseite zu JDK 17 migriert. Dieses Upgrade umfasst die folgenden Verhaltensänderungen:

  • Korrektes Parsen von RegEx-Mustern mit Negation in geschachtelter Zeichengruppierung: Mit diesem Upgrade unterstützt Azure Databricks jetzt das korrekte Parsen von RegEx-Mustern mit Negation in geschachtelter Zeichengruppierung. Beispielsweise wird [^[abc]] als "jedes Zeichen, das NICHT eines von 'abc' ist" geparst.

    Das Verhalten von Photon war zudem im Vergleich zu Spark inkonsistent bei geschachtelten Zeichenklassen. RegEx-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist ein beliebiges Muster, das eckige Klammern in eckigen Klammern enthält, z. B. [[a-c][1-3]].

Version 15.1

23. Juli 2024

Dieses serverlose Computingrelease entspricht ungefähr Databricks Runtime 15.1

Neue Funktionen

Unterstützung für die *-Syntax (Stern) in der WHERE-Klausel: Sie können jetzt die *-Syntax (Stern) in der WHERE-Klausel verwenden, um auf alle Spalten in der SELECT-Liste zu verweisen.

Beispiel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Changes

Verbesserte Fehlerbehebung bei der JSON-Analyse: Der JSON-Parser für from_json() und JSON-Pfadausdrücke erholt sich nun schneller von fehlerhaftem Syntax, was zu weniger Datenverlust führt.

Bei falsch formatierter JSON-Syntax in einem Strukturfeld, einem Arraywert, einem Schlüssel oder einem Wert gibt der JSON-Parser NULL jetzt nur für das unlesbare Feld, den Schlüssel oder das Element zurück. Nachfolgende Felder, Schlüssel oder Elemente werden ordnungsgemäß analysiert. Vor dieser Änderung hat der JSON-Parser die Analyse des Arrays, der Struktur oder der Zuordnung abgebrochen und für den verbleibenden Inhalt NULL zurückgegeben.

Version 14.3

15. April 2024

Dies ist die Anfangsversion für serverloses Computing. Diese Version entspricht ungefähr Databricks Runtime 14.3 mit einigen Änderungen, um die Unterstützung für einige nicht serverlose und Legacy-Features zu entfernen.

Unterstützte Spark-Konfigurationsparameter

Um die Konfiguration von Spark bei serverlosem Computing zu automatisieren, hat Azure Databricks die Unterstützung für die manuelle Einstellung der meisten Spark-Konfigurationen entfernt. Eine Liste der unterstützten Spark-Konfigurationsparameter finden Sie unter Konfigurieren von Spark-Eigenschaften für serverlose Notizbücher und Aufträge.

Aufträge auf serverlosen Ressourcen schlagen fehl, wenn Sie eine nicht unterstützte Spark-Konfiguration festlegen.

input_file-Funktionen sind veraltet.

Die Funktionen input_file_name(), input_file_block_length() und input_file_block_start() wurden ausgemustert. Von der Verwendung dieser Funktionen wird dringend abgeraten.

Verwenden Sie stattdessen die Spalte mit Dateimetadaten, um Dateimetadaten abzurufen.

Verhaltensänderungen

Die Version 2024.15 des serverlosen Computing enthält folgende Verhaltensänderungen:

  • unhex(hexStr)-Bugfix: Beim Verwenden der unhex(hexStr)-Funktion, wird hexStr immer links auf ein ganzes Byte aufgefüllt. Zuvor wurde das erste halbe Byte von der unhex-Funktion ignoriert. Beispiel: unhex('ABC') erzeugt jetzt x'0ABC' anstatt x'BC'.
  • Automatisch generierte Spaltenaliase sind jetzt stabil: Wenn auf das Ergebnis eines Ausdrucks ohne einen benutzerseitig angegebenen Spaltenalias verwiesen wird, ist dieser automatisch generierte Alias jetzt stabil. Der neue Algorithmus führt möglicherweise zu einer Änderung der zuvor automatisch generierten Namen, die in Features wie materialisierten Ansichten verwendet werden.
  • Tabellenüberprüfungen mit Feldern vom Typ CHAR werden jetzt immer aufgefüllt: Delta-Tabellen, bestimmte JDBC-Tabellen und externe Datenquellen speichern CHAR-Daten in nicht aufgefüllter Form. Beim Lesen werden die Daten von Azure Databricks jetzt mit Leerzeichen auf die deklarierte Länge aufgefüllt, um eine korrekte Semantik sicherzustellen.
  • Umwandlungen von BIGINT/DECIMAL in TIMESTAMP lösen eine Ausnahme für übergelaufene Werte aus: Azure Databricks ermöglicht das Umwandeln von BIGINT und DECIMAL in TIMESTAMP, indem der Wert als Anzahl von Sekunden aus der Unix-Epoche behandelt wird. Zuvor wurden von Azure Databricks übergelaufene Werte zurückgegeben. Nun wird jedoch im Falle eines Überlaufs eine Ausnahme ausgelöst. Verwenden Sie try_cast, um NULL anstelle einer Ausnahme zurückzugeben.
  • PySpark UDF-Ausführung wurde verbessert, um das genaue Verhalten der UDF-Ausführung auf dediziertem Compute abzugleichen: Die folgenden Änderungen wurden vorgenommen:
    • Von UDFs mit einem Zeichenfolgen-Rückgabetyp werden nicht mehr implizit zeichenfolgenfremde Werte in Zeichenfolgen konvertiert. Zuvor wurde von UDFs mit dem Rückgabetyp str unabhängig vom tatsächlichen Datentyp des zurückgegebenen Werts ein str(..)-Wrapper auf das Ergebnis angewendet.
    • Von UDFs mit Rückgaben vom Typ timestamp wird implizit keine Zeitzonenkonvertierung mehr auf Zeitstempel angewendet.
  • Last updated on