Wartungsupdates für Databricks Runtime

  • Artikel

In diesem Artikel werden Wartungsupdates für unterstützte Databricks Runtime-Versionen aufgeführt. Um ein Wartungsupdate zu einem bestehenden Cluster hinzuzufügen, starten Sie den Cluster neu. Informationen zu den Wartungsupdates für nicht unterstützte Databricks Runtime-Versionen finden Sie unter Wartungsupdates für Databricks Runtime (archiviert).

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst einige Tage nach dem ursprünglichen Veröffentlichungsdatum aktualisiert.

Databricks Runtime-Releases

Wartungsupdates nach Release:

Databricks Runtime 14.3

Weitere Informationen unter Databricks Runtime 14.3 LTS.

  • 3. Januar 2024
    • [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
    • [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
    • [SPARK-46954] XML: Wrap InputStreamReader mit BufferedReader.
    • [SPARK-46655] Abfangen des Abfragekontext in DataFrame-Methoden überspringen.
    • [SPARK-44815] Cache df.schema, um zusätzliche RPC zu vermeiden.
    • [SPARK-46952] XML: Begrenzen der Größe eines beschädigten Datensatzes.
    • [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
    • [SPARK-46736] leeres Nachrichtenfeld im Protobuf-Connector beibehalten.
    • [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
    • [SPARK-46414] Verwenden Sie prependBaseUri, um Javascript-Importe zu rendern.
    • [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von TaskInfo.accumulables() reduzieren.
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • [SPARK-46954] XML: Optimieren der Schemaindex-Lookup.
    • [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
    • [SPARK-46644] Ändern Sie das Hinzufügen und Zusammenführen in SQLMetric, um isZero zu verwenden.
    • [SPARK-46731] Verwalten der Instanz des Statusspeicheranbieters nach Statusdatenquelle – Reader.
    • [SPARK-46677] Behebung der dataframe["*"]-Auflösung.
    • [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
    • [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
    • [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
    • [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
    • [SPARK-46227] Backport nach 14.3.
    • [SPARK-46822] Respektieren Sie spark.sql.legacy.charVarcharAsString, wenn Sie den Katalysatortyp in Schriftart umwandeln.
    • Updates der Betriebssystemsicherheit.

Databricks Runtime 14.2

Siehe Databricks Runtime 14.2.

  • 8. Februar 2024
    • [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
    • [SPARK-46822] Respektieren Sie spark.sql.legacy.charVarcharAsString, wenn Sie den Katalysatortyp in Schriftart umwandeln.
    • [SPARK-46952] XML: Begrenzen der Größe eines beschädigten Datensatzes.
    • [SPARK-46644] Ändern Sie das Hinzufügen und Zusammenführen in SQLMetric, um isZero zu verwenden.
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
    • [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
    • [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • [SPARK-46382] XML: Dokument aktualisieren für ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Erfassung von Werten, die an verschiedenen Stellen zwischen Elementen eingefügt werden.
    • [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
    • Wiederherstellen [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
    • [SPARK-46677] Behebung der dataframe["*"]-Auflösung.
    • [SPARK-46382] XML: Festlegung des Standardwerts von ignoreSurroundingSpaces auf „true“.
    • [SPARK-46633] Korrigieren Sie den Avro-Reader, um Blöcke der Länge Null zu verarbeiten.
    • [SPARK-45964] Entfernung des privaten SQL-Accessors in XML- und JSON-Paketen unter dem Catalyst-Paket.
    • [SPARK-46581] Aktualisierung des Kommentars zu isZero in AccumulatorV2.
    • [SPARK-45912] Erweiterung der XSDToSchema-API: Wechsel zur HDFS-API zum Sicherstellen der Zugänglichkeit des Cloudspeichers.
    • [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
    • [SPARK-46660] Aktualisierung des Aktivitätsstatus von SessionHolder durch ReattachExecute-Anforderungen.
    • [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
    • [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von TaskInfo.accumulables() reduzieren.
    • [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
    • [SPARK-46684] Korrigieren Sie CoGroup.applyInPandas/Arrow, um Argumente ordnungsgemäß zu übergeben.
    • [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
    • [SPARK-45962] Entfernen Sie treatEmptyValuesAsNulls und verwenden Sie stattdessen die nullValue-Option in XML.
    • [SPARK-46541] Korrigieren Sie den mehrdeutigen Spaltenverweis in der Selbstverknüpfung.
    • [SPARK-46599] XML: Verwendung von TypeCoercion.findTightestCommonType für die Kompatibilitätsüberprüfung.
    • Updates der Betriebssystemsicherheit.
  • 17. Januar 2024
    • Der shuffle-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um das causedBroadcastJoinBuildOOM=true-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist.
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed sollte die Reihenfolge für Verzeichnis/Zuordnung beibehalten.
    • [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
    • [SPARK-46484] Sorgt dafür, dass resolveOperators-Hilfsfunktionen die Plan-ID beibehalten.
    • [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf WAHR festgelegt ist.
    • [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Deaktivieren von Unterabfragen mit korreliertem OFFSET, um Fehler mit der Korrektheit zu beheben.
    • [SPARK-46152] XML: Hinzufügung der DecimalType-Unterstützung im XML-Schemarückschluss.
    • [SPARK-46602] Propagieren von allowExisting beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist.
    • [SPARK-45814] close()-Aufruf durch ArrowConverters.createEmptyArrowBatch, um Arbeitsspeicherverlust zu vermeiden.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
    • [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
    • [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
    • [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
    • [SPARK-46153] XML: Hinzufügen von Support für TimestampNTZType.
    • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
    • [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
    • [SPARK-46260]DataFrame.withColumnsRenamed sollte die Reihenfolge der Verzeichnisse beachten.
    • [SPARK-46036] [SC-149356][SQL] Entfernung von „error-class“ aus der Funktion „raise_error“.
    • [SPARK-46294] Bereinigung der Semantik des Initialisierungswerts im Vergleich zum Nullwert.
    • [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
    • [SPARK-46250] Deflagieren von test_parity_listener.
    • [SPARK-46587] XML: Beheben der XSD-Konvertierung einer großen Ganzzahl.
    • [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
    • [SPARK-46241] Beheben der Fehlerbehandlungsroutine, damit sie nicht in eine unendliche Rekursion fällt.
    • [SPARK-46355] XML: Schließen von InputStreamReader nach Abschluss des Lesevorgangs.
    • [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
    • [SPARK-46265] Assertionen in AddArtifact RPC machen den Connect-Client inkompatibel mit älteren Clustern.
    • [SPARK-46308] Rekursive Fehlerbehandlung verbieten.
    • [SPARK-46337]CTESubstitution soll die PLAN_ID_TAG beibehalten.
  • 14. Dezember 2023
    • [SPARK-46141] Änderung des Standardwerts für spark.sql.legacy.ctePrecedencePolicy in CORRECTED.
    • [SPARK-45730] ReloadingX509TrustManagerSuite weniger fehleranfällig machen.
    • [SPARK-45852] Ordentlicher Umgang mit Rekursionsfehlern während der Protokollierung.
    • [SPARK-45808] Bessere Fehlerbehandlung für SQL-Ausnahmen.
    • [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
    • Wiederherstellen von „[SPARK-45649] Vereinheitlichen des Vorbereitungsframeworks für OffsetWindowFunctionFrame“.
    • [SPARK-45733] Unterstützen mehrerer RETRY-Richtlinien.
    • [SPARK-45509] Beheben des Verweisverhaltens der df-Spalte für Spark Connect.
    • [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
    • [SPARK-45905] Der kleinste gemeinsame Typ zwischen Dezimaltypen sollte zuerst ganzzahlige Ziffern beibehalten.
    • [SPARK-45136] Verbessern von ClosureCleaner mit Ammonit-Support.
    • [SPARK-46255] Unterstützen des komplexen Typs –> Zeichenfolgenkonvertierung.
    • [SPARK-45859] UDF-Objekte in ml.functions träge machen.
    • [SPARK-46028]Column.__getitem__ sollte Eingabespalten akzeptieren.
    • [SPARK-45798] Bestätigen der serverseitigen Sitzungs-ID.
    • [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um validateSchemaOutput und validateExprIdUniqueness zu entkoppeln.
    • [SPARK-45844] Implementieren der Nichtunterscheidung nach Groß-/Kleinschreibung für XML.
    • [SPARK-45770] Einführung des Plans DataFrameDropColumns für Dataframe.drop.
    • [SPARK-44790] XML: to_xml-Implementierung und Bindungen für Python, Connect und SQL.
    • [SPARK-45851] Unterstützen mehrerer Richtlinien im Scala-Client.
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • [SPARK-45852] Der Python-Client für Spark Connect erfasst jetzt Rekursionsfehler während der Textkonvertierung.
    • [SPARK-45808] Verbesserte Fehlerbehandlung für SQL-Ausnahmen.
    • [SPARK-45920] Die Ordnungszahl GROUP BY ersetzt nicht die Ordnungszahl.
    • Rückgängig gemacht: [SPARK-45649].
    • [SPARK-45733] Unterstützung für mehrere Wiederholungsrichtlinien hinzugefügt.
    • [SPARK-45509] Verweisverhalten der df-Spalte für Spark Connect korrigiert.
    • [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
    • [SPARK-45905] Der kleinste gemeinsame Typ zwischen Dezimaltypen behält jetzt zuerst ganzzahlige Ziffern bei.
    • [SPARK-45136]ClosureCleaner wurde mit Ammonite-Unterstützung optimiert.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • [SPARK-46028]Column.__getitem__ akzeptiert Eingabespalten.
    • [SPARK-45798] Bestätigen der serverseitigen Sitzungs-ID.
    • [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um validateSchemaOutput und validateExprIdUniqueness zu entkoppeln.
    • [SPARK-45844] Implementieren der Nichtunterscheidung nach Groß-/Kleinschreibung für XML.
    • [SPARK-45770] Spaltenauflösung mit DataFrameDropColumns für Dataframe.drop korrigiert.
    • [SPARK-44790]to_xml-Implementierung und Bindungen für Python, Spark Connect und SQL hinzugefügt.
    • [SPARK-45851] Unterstützung für mehrere Richtlinien im Scala-Client hinzugefügt.
    • Updates der Betriebssystemsicherheit.

Databricks Runtime 14.1

Siehe Databricks Runtime 14.1.

  • 8. Februar 2024
    • [SPARK-46952] XML: Begrenzen der Größe eines beschädigten Datensatzes.
    • [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
    • [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
    • [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • [SPARK-45582] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird.
    • [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
    • [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
    • [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
    • [SPARK-46822] Respektieren Sie spark.sql.legacy.charVarcharAsString, wenn Sie den Katalysatortyp in Schriftart umwandeln.
    • [SPARK-45957] Vermeiden Sie das Generieren des Ausführungsplans für nicht ausführbare Befehle.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • [SPARK-46684] Korrigieren Sie CoGroup.applyInPandas/Arrow, um Argumente ordnungsgemäß zu übergeben.
    • [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
    • [SPARK-45498] Followup: Ignorieren des Aufgabenabschlusses aus alten Phasenversuchen.
    • [SPARK-46382] XML: Dokument aktualisieren für ignoreSurroundingSpaces.
    • [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von TaskInfo.accumulables() reduzieren.
    • [SPARK-46382] XML: Festlegung des Standardwerts von ignoreSurroundingSpaces auf „true“.
    • [SPARK-46677] Behebung der dataframe["*"]-Auflösung.
    • [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
    • [SPARK-46633] Korrigieren Sie den Avro-Reader, um Blöcke der Länge Null zu verarbeiten.
    • [SPARK-45912] Erweiterung der XSDToSchema-API: Wechsel zur HDFS-API zum Sicherstellen der Zugänglichkeit des Cloudspeichers.
    • [SPARK-46599] XML: Verwendung von TypeCoercion.findTightestCommonType für die Kompatibilitätsüberprüfung.
    • [SPARK-46382] XML: Erfassung von Werten, die an verschiedenen Stellen zwischen Elementen eingefügt werden.
    • [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
    • [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
    • [SPARK-45964] Entfernung des privaten SQL-Accessors in XML- und JSON-Paketen unter dem Catalyst-Paket.
    • Wiederherstellen [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
    • [SPARK-45962] Entfernen Sie treatEmptyValuesAsNulls und verwenden Sie stattdessen die nullValue-Option in XML.
    • [SPARK-46541] Korrigieren Sie den mehrdeutigen Spaltenverweis in der Selbstverknüpfung.
    • Updates der Betriebssystemsicherheit.
  • 17. Januar 2024
    • Der shuffle-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um das causedBroadcastJoinBuildOOM=true-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist.
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in ALSModel.transform.
    • [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
    • [SPARK-46484] Sorgt dafür, dass resolveOperators-Hilfsfunktionen die Plan-ID beibehalten.
    • [SPARK-46153] XML: Hinzufügen von Support für TimestampNTZType.
    • [SPARK-46152] XML: Hinzufügung der DecimalType-Unterstützung im XML-Schemarückschluss.
    • [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
    • [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
    • [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf WAHR festgelegt ist.
    • [SPARK-46337]CTESubstitution soll die PLAN_ID_TAG beibehalten.
    • [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
    • [SPARK-46587] XML: Beheben der XSD-Konvertierung einer großen Ganzzahl.
    • [SPARK-45814] close()-Aufruf durch ArrowConverters.createEmptyArrowBatch, um Arbeitsspeicherverlust zu vermeiden.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
    • [SPARK-46602] Propagieren von allowExisting beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist.
    • [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
    • [SPARK-46355] XML: Schließen von InputStreamReader nach Abschluss des Lesevorgangs.
    • [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
    • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed sollte die Reihenfolge für Verzeichnis/Zuordnung beibehalten.
    • [SPARK-46056] Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed sollte die Reihenfolge der Verzeichnisse beachten.
    • [SPARK-46250] Deflagieren von test_parity_listener.
    • [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
    • [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
  • 14. Dezember 2023
    • Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
    • [SPARK-45509] Beheben des Verweisverhaltens der df-Spalte für Spark Connect.
    • [SPARK-45844] Implementieren der Nichtunterscheidung nach Groß-/Kleinschreibung für XML.
    • [SPARK-46141] Änderung des Standardwerts für spark.sql.legacy.ctePrecedencePolicy in CORRECTED.
    • [SPARK-46028]Column.__getitem__ sollte Eingabespalten akzeptieren.
    • [SPARK-46255] Unterstützen des komplexen Typs –> Zeichenfolgenkonvertierung.
    • [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
    • [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
    • [SPARK-45316] Hinzufügen der neuen Parameter ignoreCorruptFiles/ignoreMissingFiles zu HadoopRDD und NewHadoopRDD
    • [SPARK-45852] Ordentlicher Umgang mit Rekursionsfehlern während der Protokollierung.
    • [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden.
    • Beim Erfassen von CSV-Daten mit dem Autoloader oder Streamingtabellen sind große CSV-Dateien jetzt teilbar und können während Schemarückschlüssen und Datenverarbeitung parallel verarbeitet werden.
    • [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um validateSchemaOutput und validateExprIdUniqueness zu entkoppeln.
    • [SPARK-45620] APIs im Zusammenhang mit Python-UDF verwenden jetzt camelCase.
    • [SPARK-44790]to_xml-Implementierung und Bindungen für Python, Spark Connect und SQL hinzugefügt.
    • [SPARK-45770] Spaltenauflösung mit DataFrameDropColumns für Dataframe.drop korrigiert.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • [SPARK-44784] SBT-Tests wurden als hermetisch festgelegt.
    • Updates der Betriebssystemsicherheit.
  • 10. November 2023
    • [SPARK-45545]SparkTransportConf erbt SSLOptions bei der Erstellung.
    • [SPARK-45250] Unterstützung für das Aufgabenressourcenprofil auf Stagingebene für yarn-Cluster hinzugefügt, wenn die dynamische Zuordnung deaktiviert ist.
    • [SPARK-44753] XML DataFrame-Lese- und -Schreibmodule für PySpark SQL hinzugefügt.
    • [SPARK-45396] Dokumentationseintrag für das PySpark.ml.connect-Modul hinzugefügt.
    • [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit TakeOrderedAndProjectExec behoben.
    • [SPARK-45541] SSLFactory hinzugefügt.
    • [SPARK-45577]UserDefinedPythonTableFunctionAnalyzeRunner korrigiert, um gefaltete Werte aus benannten Argumenten zu übergeben.
    • [SPARK-45562] „rowTag“ als erforderliche Option festgelegt.
    • [SPARK-45427] RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf hinzugefügt.
    • [SPARK-43380] Verlangsamung bei Avro-Lesevorgängen behoben.
    • [SPARK-45430]FramelessOffsetWindowFunction löst bei IGNORE NULLS und offset > rowCount keinen Fehler mehr aus.
    • [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
    • [SPARK-45386] Problem behoben, durch das StorageLevel.NONE fälschlicherweise „0“ (null) zurückgegeben hat.
    • [SPARK-44219] Überprüfungen pro Regel für Optimierungsumschreibungen hinzugefügt.
    • [SPARK-45543] Problem behoben, durch das InferWindowGroupLimit einen Fehler verursachte, wenn die anderen Fensterfunktionen nicht über denselben Fensterrahmen wie Funktionen mit demselben Rang verfügten.
    • Updates der Betriebssystemsicherheit.
  • 27. September 2023
    • [SPARK-44823]black auf 23.9.1 aktualisiert und fehlerhafte Überprüfung korrigiert.
    • [SPARK-45339] PySpark protokolliert jetzt Fehler, die wiederholt werden.
    • Rückgängig gemacht: [SPARK-42946] Vertrauliche Daten, die unter Variablenersetzungen geschachtelt werden, unkenntlich gemacht.
    • [SPARK-44551] Kommentare, die mit OSS synchronisiert werden sollen, bearbeitet.
    • [SPARK-45360] Spark-Sitzungsgenerator unterstützt die Initialisierung von SPARK_REMOTE.
    • [SPARK-45279]plan_id an alle logischen Pläne angefügt.
    • [SPARK-45425]TINYINT wurde ShortType für MsSqlServerDialect zugeordnet.
    • [SPARK-45419] Eintrag für Dateiversionszuordnung für größere Versionen entfernt, um die erneute Wiederverwendung von rocksdb-SST-Datei-IDs zu vermeiden.
    • [SPARK-45488] Unterstützung für Wert in rowTag-Element hinzugefügt.
    • [SPARK-42205] Protokollierung von Accumulables in Task/Stage-Startereignissen in JsonProtocol-Ereignisprotokollen entfernt.
    • [SPARK-45426] Unterstützung für ReloadingX509TrustManager hinzugefügt.
    • [SPARK-45256]DurationWriter schlägt jetzt fehl, wenn mehr Werte als die Anfangskapazität geschrieben werden.
    • [SPARK-43380] Konvertierungsprobleme mit Avro-Datentyp behoben ohne eine Leistungsregression zu verursachen.
    • [SPARK-45182] Unterstützung für Rollbacks der Kartenmischphase hinzugefügt, sodass alle Stagingaufgaben erneut ausgeführt werden können, wenn die Stagingausgabe unbestimmt ist.
    • [SPARK-45399] XML-Optionen bei Verwenden von newOption hinzugefügt.
    • Updates der Betriebssystemsicherheit.

Databricks Runtime 14.0

Weitere Informationen finden Sie unter Databricks Runtime 14.0.

  • 8. Februar 2024
    • [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
    • [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
    • [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
    • [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
    • [SPARK-45957] Vermeiden Sie das Generieren des Ausführungsplans für nicht ausführbare Befehle.
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
    • [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
    • [SPARK-45582] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • [SPARK-46541] Korrigieren Sie den mehrdeutigen Spaltenverweis in der Selbstverknüpfung.
    • [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
    • [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
    • [SPARK-45498] Followup: Ignorieren des Aufgabenabschlusses aus alten Phasenversuchen.
    • Wiederherstellen [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
    • [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von TaskInfo.accumulables() reduzieren.
    • [SPARK-46633] Korrigieren Sie den Avro-Reader, um Blöcke der Länge Null zu verarbeiten.
    • [SPARK-46677] Behebung der dataframe["*"]-Auflösung.
    • [SPARK-46684] Korrigieren Sie CoGroup.applyInPandas/Arrow, um Argumente ordnungsgemäß zu übergeben.
    • [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
    • [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
    • Updates der Betriebssystemsicherheit.
  • 17. Januar 2024
    • Der shuffle-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um das causedBroadcastJoinBuildOOM=true-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist.
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf WAHR festgelegt ist.
    • [SPARK-46250] Deflagieren von test_parity_listener.
    • [SPARK-45814] close()-Aufruf durch ArrowConverters.createEmptyArrowBatch, um Arbeitsspeicherverlust zu vermeiden.
    • [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
    • [SPARK-46484] Sorgt dafür, dass resolveOperators-Hilfsfunktionen die Plan-ID beibehalten.
    • [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
    • [SPARK-46056] Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
    • [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
    • [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
    • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed sollte die Reihenfolge für Verzeichnis/Zuordnung beibehalten.
    • [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
    • [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
    • [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in ALSModel.transform.
    • [SPARK-46337]CTESubstitution soll die PLAN_ID_TAG beibehalten.
    • [SPARK-46602] Propagieren von allowExisting beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist.
    • [SPARK-46260]DataFrame.withColumnsRenamed sollte die Reihenfolge der Verzeichnisse beachten.
    • [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
  • 14. Dezember 2023
    • Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
    • [SPARK-46255] Unterstützen des komplexen Typs –> Zeichenfolgenkonvertierung.
    • [SPARK-46028]Column.__getitem__ sollte Eingabespalten akzeptieren.
    • [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
    • [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
    • [SPARK-45509] Beheben des Verweisverhaltens der df-Spalte für Spark Connect.
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden.
    • Beim Erfassen von CSV-Daten mit dem Autoloader oder Streamingtabellen sind große CSV-Dateien jetzt teilbar und können während Schemarückschlüssen und Datenverarbeitung parallel verarbeitet werden.
    • Der Spark-snowflake-Connector wird auf 2.12.0 aktualisiert.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • Rückgängig gemacht: [SPARK-45592].
    • [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um validateSchemaOutput und validateExprIdUniqueness zu entkoppeln.
    • [SPARK-45592] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec behoben.
    • [SPARK-45620] APIs im Zusammenhang mit Python-UDF verwenden jetzt camelCase.
    • [SPARK-44784] SBT-Tests wurden als hermetisch festgelegt.
    • [SPARK-45770] Spaltenauflösung mit DataFrameDropColumns für Dataframe.drop korrigiert.
    • [SPARK-45544] SSL-Unterstützung in TransportContext integriert.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • Updates der Betriebssystemsicherheit.
  • 10. November 2023
    • Datenfeedabfragen in Unity Catalog-Streamingtabellen und materialisierten Sichten geändert, um Fehlermeldungen anzuzeigen.
    • [SPARK-45545]SparkTransportConf erbt SSLOptions bei der Erstellung.
    • [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit TakeOrderedAndProjectExec behoben.
    • [SPARK-45427] RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf hinzugefügt.
    • [SPARK-45541]SSLFactory hinzugefügt.
    • [SPARK-45430]FramelessOffsetWindowFunction löst bei IGNORE NULLS und offset > rowCount keinen Fehler mehr aus.
    • [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
    • [SPARK-44219] Zusätzliche Überprüfungen pro Regel für Optimierungsumschreibungen hinzugefügt.
    • [SPARK-45543] Problem behoben, durch das InferWindowGroupLimit einen Fehler verursachte, wenn die anderen Fensterfunktionen nicht über denselben Fensterrahmen wie Funktionen mit demselben Rang verfügten.
    • Updates der Betriebssystemsicherheit.
  • 23. Oktober 2023
    • [SPARK-45426] Unterstützung für ReloadingX509TrustManager hinzugefügt.
    • [SPARK-45396] Dokumenteintrag für PySpark.ml.connect-Modul hinzugefügt, und Evaluator zu __all__ bei ml.connect hinzugefügt.
    • [SPARK-45256] Ein Problem wurde behoben, das dazu führte, dass DurationWriter fehlschlug, wenn mehr Werte als die Anfangskapazität geschrieben wurden.
    • [SPARK-45279]plan_id an alle logischen Pläne angefügt.
    • [SPARK-45250] Unterstützung für das Aufgabenressourcenprofil auf Stagingebene für yarn-Cluster hinzugefügt, wenn die dynamische Zuordnung deaktiviert ist.
    • [SPARK-45182] Unterstützung für Rollbacks der Kartenmischphase hinzugefügt, sodass alle Stagingaufgaben erneut ausgeführt werden können, wenn die Stagingausgabe unbestimmt ist.
    • [SPARK-45419] Vermeiden Sie, rocksdb sst-Dateien in einer anderen rocksdb-Instanz wiederzuverwenden, indem Sie den Dateiversionszuordnungseintrag größerer Versionen entfernen.
    • [SPARK-45386] Problem behoben, durch das StorageLevel.NONE fälschlicherweise „0“ (null) zurückgegeben hat.
    • Updates der Betriebssystemsicherheit.
  • 13. Oktober 2023
    • Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
    • Die Funktion array_insert basiert für positive und Indizes auf 1, während sie für negative Indizes zuvor auf 0 basierte. Es fügt nun ein neues Element am Ende des Eingabe-Arrays für den Index -1 ein. Um das vorherige Verhalten wiederherzustellen, legen Sie spark.sql.legacy.negativeIndexInArrayInsert auf true fest.
    • Beschädigte Dateien werden von Azure Databricks nicht mehr ignoriert, wenn ignoreCorruptFiles während des CSV-Schemarückschlusses mit Autoloader aktiviert wurde.
    • [SPARK-45227] Ein kleines Threadsicherheitsproblem wurde mit CoarseGrainedExecutorBackend behoben.
    • [SPARK-44658]ShuffleStatus.getMapStatus sollte None anstelle von Some(null) zurückgeben.
    • [SPARK-44910]Encoders.bean unterstützt keine übergeordneten Klassen mit generischen Typargumenten.
    • [SPARK-45346] Beim Parquet-Schemarückschluss wird die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
    • Rückgängig gemacht: [SPARK-42946].
    • [SPARK-42205] Das JSON-Protokoll aktualisiert, um die Protokollierung von Accumulables in Startereignissen von Aufgaben oder Stages zu entfernen.
    • [SPARK-45360] Spark-Sitzungsgenerator unterstützt die Initialisierung von SPARK_REMOTE.
    • [SPARK-45316] Hinzufügen der neuen Parameter ignoreCorruptFiles/ignoreMissingFiles zu HadoopRDD und NewHadoopRDD
    • [SPARK-44909] Überspringen des Ausführens des Protokollstreamingservers von TorchDistributor, wenn nicht verfügbar
    • [SPARK-45084]-StateOperatorProgress verwendet jetzt die genaue Shuffle-Partitionsnummer.
    • [SPARK-45371] Beheben von Schattierungsproblemen beim Spark Connect-Scala-Client
    • [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
    • [SPARK-44840] Es wurde festgelegt, dass array_insert() für negative Indizes auf 1 basiert.
    • [SPARK-44551] Kommentare, die mit OSS synchronisiert werden sollen, bearbeitet.
    • [SPARK-45078] Die Funktion ArrayInsert führt jetzt explizite Umwandlungen durch, wenn der Elementtyp nicht dem abgeleiteten Komponententyp entspricht.
    • [SPARK-45339] PySpark protokolliert jetzt Wiederholungsfehler.
    • [SPARK-45057] Vermeiden Sie eine Lesesperre, wenn keepReadLock FALSE ist.
    • [SPARK-44908] Parameterfunktionalität foldCol der Kreuzvalidierung korrigiert.
    • Updates der Betriebssystemsicherheit.

Databricks Runtime 13.3 LTS

Siehe Databricks Runtime 13.3 LTS.

  • 8. Februar 2024
    • [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
    • [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
    • [SPARK-45582] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird.
    • [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
    • [SPARK-46383] Reduzieren Sie die Treiber Heap-Nutzung, indem Sie die Lebensdauer von TaskInfo.accumulables() reduzieren.
    • [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
    • [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
    • Updates der Betriebssystemsicherheit.
  • 17. Januar 2024
    • Der shuffle-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um das causedBroadcastJoinBuildOOM=true-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist.
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
    • [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
    • [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
    • [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
    • [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
    • [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
    • [SPARK-46602] Propagieren von allowExisting beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist.
    • [SPARK-46249] Anforderung einer Instanzsperre für den Abruf von RocksDB-Metriken, um Rennen mit Hintergrundvorgängen zu verhindern.
    • [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
    • [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in ALSModel.transform.
    • [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
    • [SPARK-46250] Deflagieren von test_parity_listener.
    • [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf WAHR festgelegt ist.
    • [SPARK-46056] Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
    • [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
  • 14. Dezember 2023
    • Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
    • [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
    • [SPARK-44582] Iterator auf SMJ überspringen, wenn er bereinigt wurde.
    • [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
    • [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • Der Spark-snowflake-Connector wird auf 2.12.0 aktualisiert.
    • [SPARK-44846] Komplexe Gruppierungsausdrücke nach RemoveRedundantAggregates entfernt.
    • [SPARK-45544] SSL-Unterstützung in TransportContext integriert.
    • [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um validateSchemaOutput und validateExprIdUniqueness zu entkoppeln.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • Updates der Betriebssystemsicherheit.
  • 10. November 2023
    • Partitionsfilter für Delta Lake-Streamingabfragen werden unter die Ratenbegrenzung vermindert, um eine bessere Auslastung zu erzielen.
    • Datenfeedabfragen in Unity Catalog-Streamingtabellen und materialisierten Sichten geändert, um Fehlermeldungen anzuzeigen.
    • [SPARK-45545]SparkTransportConf erbt SSLOptions bei der Erstellung.
    • [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit TakeOrderedAndProjectExec behoben.
    • [SPARK-45427] RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf hinzugefügt.
    • [SPARK-45541]SSLFactory hinzugefügt.
    • [SPARK-45430]FramelessOffsetWindowFunction löst bei IGNORE NULLS und offset > rowCount keinen Fehler mehr aus.
    • [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
    • [SPARK-44219] Zusätzliche Überprüfungen pro Regel für Optimierungsumschreibungen hinzugefügt.
    • [SPARK-45543] Problem behoben, durch das InferWindowGroupLimit einen Fehler verursachte, wenn die anderen Fensterfunktionen nicht über denselben Fensterrahmen wie Funktionen mit demselben Rang verfügten.
    • Updates der Betriebssystemsicherheit.
  • 23. Oktober 2023
    • [SPARK-45256] Ein Problem wurde behoben, das dazu führte, dass DurationWriter fehlschlug, wenn mehr Werte als die Anfangskapazität geschrieben wurden.
    • [SPARK-45419] Vermeiden Sie, rocksdb sst-Dateien in einer anderen rocksdb-Instanz wiederzuverwenden, indem Sie den Dateiversionszuordnungseintrag größerer Versionen entfernen.
    • [SPARK-45426] Unterstützung für ReloadingX509TrustManager hinzugefügt.
    • Verschiedene Korrekturen
  • 13. Oktober 2023
    • Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
    • Die Funktion array_insert basiert für positive und Indizes auf 1, während sie für negative Indizes zuvor auf 0 basierte. Es fügt nun ein neues Element am Ende des Eingabe-Arrays für den Index -1 ein. Um das vorherige Verhalten wiederherzustellen, legen Sie spark.sql.legacy.negativeIndexInArrayInsert auf true fest.
    • Ein Fehler wurde behoben, aufgrund dessen beschädigte Dateien nicht ignoriert wurden, wenn ignoreCorruptFiles während des CSV-Schemarückschlusses mit Autoloader aktiviert wurde.
    • Rückgängig gemacht: [SPARK-42946].
    • [SPARK-42205] Das JSON-Protokoll aktualisiert, um die Protokollierung von Accumulables in Startereignissen von Aufgaben oder Stages zu entfernen.
    • [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
    • [SPARK-45316] Neue Parameter ignoreCorruptFiles und ignoreMissingFiles zu HadoopRDD und NewHadoopRDD hinzugefügt.
    • [SPARK-44740] Metadatenwerte für Artefakte korrigiert.
    • [SPARK-45360] Konfiguration des Spark-Sitzungsgenerators von SPARK_REMOTE initialisiert.
    • [SPARK-44551] Kommentare, die mit OSS synchronisiert werden sollen, bearbeitet.
    • [SPARK-45346] Beim Parquet-Schemarückschluss wird jetzt die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
    • [SPARK-44658]ShuffleStatus.getMapStatus gibt jetzt None anstelle von Some(null) zurück.
    • [SPARK-44840] Es wurde festgelegt, dass array_insert() für negative Indizes auf 1 basiert.
  • 14. September 2023
    • [SPARK-44873] Unterstützung für alter view mit geschachtelten Spalten im Hive-Client hinzugefügt.
    • [SPARK-44878] Strenger Grenzwert für RocksDB-Schreib-Manager deaktiviert, um die Einfügeausnahme bei vollem Cache zu vermeiden.
  • 30. August 2023
    • Der Befehl dbutils cp (dbutils.fs.cp) ist jetzt für schnelleres Kopieren optimiert. Mit dieser Verbesserung können Kopiervorgänge je nach Dateigröße bis zu 100-mal weniger Zeit in Anspruch nehmen. Das Feature ist für alle Clouds und Dateisysteme verfügbar, auf die in Databricks zugegriffen werden kann, einschließlich für Unity-Katalogvolumes und DBFS-Bereitstellungen.
    • [SPARK-44455] Anführungszeichen mit Apostroph im SHOW CREATE TABLE-Ergebnis
    • [SPARK-44763] Ein Problem wurde behoben, bei dem eine Zeichenfolge als Double in binärer Arithmetik mit Intervall angezeigt wurde.
    • [SPARK-44871]percentile_disc-Verhalten wurde korrigiert.
    • [SPARK-44714] Erleichterte Einschränkung der LCA-Auflösung in Bezug auf Abfragen.
    • [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor taskThread initialisiert wird.
    • [SPARK-44505] Außerkraftsetzung für spaltenbasierte Unterstützung in Überprüfung auf DSv2 hinzugefügt.
    • [SPARK-44479] Korrektur der protobuf-Konvertierung von einem leeren struct-Typ.
    • [SPARK-44718] Konfigurations-Standardeinstellung für ColumnVector an OffHeapMemoryMode-Konfigurationswert angepasst.
    • [SPARK-42941] Unterstützung für StreamingQueryListener in Python hinzugefügt.
    • [SPARK-44558] Exportieren der Spark Connect-Protokollstufe von PySpark.
    • [SPARK-44464] Korrektur von applyInPandasWithStatePythonRunner, sodass Zeilen mit Null als erstem Spaltenwert ausgegeben werden.
    • [SPARK-44643] Korrektur von Row.__repr__, wenn das Feld eine leere Zeile ist.
    • Updates der Betriebssystemsicherheit.

Databricks Runtime 12.2 LTS

Siehe Databricks Runtime 12.2 LTS.

  • 13. Februar 2024
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
    • Updates der Betriebssystemsicherheit.
  • 25. Dezember 2023
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
    • [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf WAHR festgelegt ist.
    • [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
    • [SPARK-43067] Korrigieren des Speicherorts der Fehlerklassen-Ressourcendatei im Kafka-Connector.
    • [SPARK-46249] Anforderung einer Instanzsperre für den Abruf von RocksDB-Metriken, um Rennen mit Hintergrundvorgängen zu verhindern.
    • [SPARK-46602] Propagieren von allowExisting beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
    • [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in ALSModel.transform.
    • [SPARK-42852] Wiederherstellen von NamedLambdaVariable-Änderungen aus EquivalentExpressions.
  • 14. Dezember 2023
    • Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
    • [SPARK-44582] Iterator auf SMJ überspringen, wenn er bereinigt wurde.
    • [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
    • [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden.
    • [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ Stage und Task entfernt.
    • [SPARK-44846] Komplexe Gruppierungsausdrücke nach RemoveRedundantAggregates entfernt.
    • [SPARK-43718] NULL-Zulässigkeit für Schlüssel in USING-Verknüpfungen korrigiert.
    • [SPARK-45544] SSL-Unterstützung in TransportContext integriert.
    • [SPARK-43973] Strukturierte Streaming-UI zeigt jetzt fehlerhafte Abfragen ordnungsgemäß an.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • Updates der Betriebssystemsicherheit.
  • 14. November 2023
    • Partitionsfilter für Delta Lake-Streamingabfragen werden unter die Ratenbegrenzung vermindert, um eine bessere Auslastung zu erzielen.
    • [SPARK-45545]SparkTransportConf erbt SSLOptions bei der Erstellung.
    • [SPARK-45427] RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf hinzugefügt.
    • [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit TakeOrderedAndProjectExec behoben.
    • [SPARK-45541]SSLFactory hinzugefügt.
    • [SPARK-45430]FramelessOffsetWindowFunction löst bei IGNORE NULLS und offset > rowCount keinen Fehler mehr aus.
    • [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
    • Updates der Betriebssystemsicherheit.
  • 24. Oktober 2023
    • [SPARK-45426] Unterstützung für ReloadingX509TrustManager hinzugefügt.
    • Verschiedene Korrekturen
  • 13. Oktober 2023
    • Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
    • [SPARK-42553] Sicherstellen von mindestens einer Zeiteinheit nach einem Intervall
    • [SPARK-45346] Beim Parquet-Schemarückschluss wird die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
    • [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
    • [SPARK-45084]StateOperatorProgress zum Verwenden einer genauen, effektiven Shuffle-Partitionsnummer
  • 12. September 2023
    • [SPARK-44873] Unterstützung für alter view mit geschachtelten Spalten im Hive-Client hinzugefügt.
    • [SPARK-44718] Konfigurations-Standardeinstellung für ColumnVector an OffHeapMemoryMode-Konfigurationswert angepasst.
    • [SPARK-43799] Binäre Deskriptoroption zur PySpark-Protobuf-API hinzugefügt.
    • Verschiedene Korrekturen
  • 30. August 2023
  • 15. August 2023
    • [SPARK-44504] Wartungsaufgabe bereinigt geladene Anbieter bei Stoppfehler.
    • [SPARK-44464] Korrektur von applyInPandasWithStatePythonRunner, sodass Zeilen mit Null als erstem Spaltenwert ausgegeben werden.
    • Updates der Betriebssystemsicherheit.
  • 29. Juli 2023
    • Problem behoben, das dazu führte, dass INVALID_PARAMETER_VALUE.LOCATION_OVERLAP von dbutils.fs.ls() beim Aufruf für einen Speicherortpfad zurückgegeben wurde, der mit einem anderen externen oder verwalteten Speicherort in Konflikt stand.
    • [SPARK-44199]CacheManager aktualisiert fileIndex nicht mehr unnötig.
    • Updates der Betriebssystemsicherheit.
  • 24. Juli 2023
    • [SPARK-44337] Problem behoben, aufgrund dessen ein beliebiges auf Any.getDefaultInstance festgelegtes Feld Analysefehler verursachte
    • [SPARK-44136] Problem behoben, das dazu führte, dass StateManager in einem Executor und nicht in einem Treiber in FlatMapGroupsWithStateExec materialisiert wurde
    • Updates der Betriebssystemsicherheit.
  • 23. Juni 2023
    • Updates der Betriebssystemsicherheit.
  • 15. Juni 2023
    • Photonisiertes approx_count_distinct.
    • Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
    • [SPARK-43779]ParseToDate lädt jetzt EvalMode in den Hauptthread.
    • [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von decorrelateInnerQuery erweitert.
    • Updates der Betriebssystemsicherheit.
  • 2. Juni 2023
    • Der JSON-Parser im failOnUnknownFields-Modus löscht einen Datensatz im DROPMALFORMED-Modus und schlägt direkt im FAILFAST-Modus fehl.
    • Verbesserung der Leistung inkrementeller Updates mit SHALLOW CLONE Iceberg und Parquet.
    • Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
    • [SPARK-43404] Überspringen der Wiederverwendung der SST-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um den ID-Übereinstimmungsfehler zu vermeiden
    • [SPARK-43413][11.3-13.0] ListQuery-NULL-Zulässigkeit der IN-Unterabfrage korrigiert.
    • [SPARK-43522] Erstellung des Strukturspaltennamens mit dem Index des Arrays korrigiert.
    • [SPARK-43541] Verteilen aller Project-Tags beim Auflösen von Ausdrücken und fehlenden Spalten.
    • [SPARK-43527]catalog.listCatalogs in PySpark korrigiert.
    • [SPARK-43123] Interne Feldmetadaten werden nicht mehr an Kataloge weitergegeben.
    • [SPARK-43340] Fehlendes Stapelablaufverfolgungsfeld in Ereignisprotokollen korrigiert.
    • [SPARK-42444]DataFrame.drop verarbeitet doppelte Spalten jetzt ordnungsgemäß.
    • [SPARK-42937]PlanSubqueries legt jetzt InSubqueryExec#shouldBroadcast auf „true“ fest.
    • [SPARK-43286] CBC-Modus aes_encrypt aktualisiert, um zufällige IVs zu generieren.
    • [SPARK-43378] Streamobjekte in deserializeFromChunkedBuffer ordnungsgemäß schließen.
  • 17. Mai 2023
    • Parquet-Scans sind jetzt stabil gegen OOMs beim Scannen außergewöhnlich strukturierter Dateien durch dynamische Anpassung der Batchgröße. Dateimetadaten werden analysiert, um die Batchgröße präventiv zu verringern und bei Vorgangsversuchen als endgültiges Sicherheitsnetz erneut zu verringern.
    • Wenn eine Avro-Datei nur mit der failOnUnknownFields\-Option oder mit Autoloader im failOnNewColumns\-Schemaentwicklungsmodus gelesen wurde, wurden Spalten mit unterschiedlichen Datentypen als null\ gelesen, anstatt einen Fehler auszulösen, der besagt, dass die Datei nicht gelesen werden kann. Diese Lesevorgänge schlagen jetzt fehl und empfehlen Benutzern, die rescuedDataColumn\-Option zu verwenden.
    • Autoloader macht jetzt Folgendes:
      • Liest jetzt korrekt Integer-, Short und Byte-Typen, sodass keine Wiederherstellung erforderlich ist, wenn einer dieser Datentypen bereitgestellt wird, die AVRO-Datei aber einen der anderen beiden Typen vorschlägt.
      • Verhindert das Lesen von Intervalltypen als Datums- oder Zeitstempeltypen, um fehlerhafte Datumsangaben zu vermeiden.
      • Verhindert das Lesen von Decimal-Typen mit geringerer Genauigkeit.
    • [SPARK-43172] Macht den Host und das Token vom Spark Connect-Client verfügbar.
    • [SPARK-43293]__qualified_access_only wird in normalen Spalten ignoriert.
    • [SPARK-43098]COUNT-Korrektheitsfehler behoben, bei dem skalare Unterabfragen nach Klausel gruppiert wurden.
    • [SPARK-43085] Unterstützung der DEFAULT-Spaltenzuweisung für mehrteilige Tabellennamen.
    • [SPARK-43190]ListQuery.childOutput entspricht jetzt der sekundären Ausgabe.
    • [SPARK-43192] Zeichensatzüberprüfung des Benutzer-Agents entfernt.
    • Updates der Betriebssystemsicherheit.
  • 25. April 2023
    • Wenn eine Parquet-Datei nur mit der failOnUnknownFields-Option oder mit Autoloader im failOnNewColumns-Schemaentwicklungsmodus gelesen wurde, wurden Spalten mit unterschiedlichen Datentypen als null gelesen, anstatt einen Fehler auszulösen, der besagt, dass die Datei nicht gelesen werden kann. Diese Lesevorgänge schlagen jetzt fehl und empfehlen Benutzern, die rescuedDataColumn-Option zu verwenden.
    • Autoloader liest jetzt korrekt Integer-, Short- und Byte-Typen, sodass keine Wiederherstellung erforderlich ist, wenn einer dieser Datentypen bereitgestellt wird. Die Parquet-Datei schlägt einen der beiden anderen Typen vor. Wenn die Spalte für wiederhergestellte Daten zuvor aktiviert wurde, führte der Datentypkonflikt dazu, dass Spalten wiederhergestellt wurden, obwohl sie lesbar waren.
    • [SPARK-43009]sql() wurde mit Any-Konstanten parametrisiert.
    • [SPARK-42406] Beenden der rekursiven Protobuf-Felder durch Löschen des Felds
    • [SPARK-43038] Unterstützung für GCM-Modus durch aes_encrypt()/aes_decrypt()
    • [SPARK-42971]workdir ausgeben, wenn appDirs beim Workerhandleereignis „WorkDirCleanup“ NULL ist
    • [SPARK-43018] Fehler für INSERT-Befehle mit Zeitstempelliteralen behoben
    • Updates der Betriebssystemsicherheit.
  • 11. April 2023
    • Unterstützung von Legacy-Datenquellenformaten im SYNC-Befehl.
    • Ein Problem beim %autoreload-Verhalten in Notebooks außerhalb eines Repositorys behoben.
    • Es wurde ein Problem behoben, bei dem die Autoloader-Schemaentwicklung zu einer endlosen Fehlerschleife führen kann, wenn eine neue Spalte im Schema eines geschachtelten JSON-Objekts erkannt wird.
    • [SPARK-42928] Sychronisiert resolvePersistentFunction.
    • [SPARK-42936] Behebt einen LCA-Fehler, wenn die Klausel direkt durch ihr untergeordnetes Aggregat aufgelöst werden kann.
    • [SPARK-42967] Behebt SparkListenerTaskStart.stageAttemptId, wenn eine Aufgabe gestartet wird, nachdem die Phase abgebrochen wurde.
    • Updates der Betriebssystemsicherheit.
  • 29. März 2023

    • Databricks SQL unterstützt jetzt das Angeben von Standardwerten für Spalten von Delta Lake-Tabellen, entweder zur Erstellungszeit der Tabelle oder danach. Anschließende INSERT-, UPDATE-, DELETE- und MERGE-Befehle können mithilfe des expliziten DEFAULT-Schlüsselworts auf den Standardwert einer Spalte verweisen. Wenn zusätzlich eine INSERT-Zuweisung eine explizite Liste mit weniger Spalten als die Zieltabelle aufweist, werden die entsprechenden Spaltenstandardwerte durch die übrigen Spalten ersetzt (oder NULL, wenn kein Standardwert angegeben ist).

      Beispiel:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Autoloader initiiert jetzt mindestens eine synchrone RocksDB-Protokollbereinigung für Trigger.AvailableNow-Streams, um zu überprüfen, ob der Prüfpunkt regelmäßig für schnell ausgeführte Autoloader-Streams bereinigt werden kann. Dadurch können einige Streams mehr Zeit in Anspruch nehmen, bevor sie heruntergefahren werden, aber Sie sparen Speicherkosten und verbessern die Autoloader-Nutzung in zukünftigen Ausführungen.

    • Sie können jetzt eine Delta-Tabelle ändern, um die Unterstützung für Tabellenfeatures hinzuzufügen, indem Sie verwenden DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Erhöhen von lockAcquireTimeoutMs auf 2 Minuten, um den RocksDB-Zustandsspeicher im strukturierten Streaming abzurufen

    • [SPARK-42521] NULL-Werte für INSERT-Befehle mit benutzerseitig angegebenen Listen mit weniger Spalten als die Zieltabelle hinzufügen

    • [SPARK-42702][SPARK-42623] Unterstützung parametrisierter Abfragen in Unterabfragen und CTE

    • [SPARK-42668] Ausnahmeerfassung beim Versuch, den komprimierten Datenstrom in HDFSStateStoreProvider-Beendigung zu schließen

    • [SPARK-42403] JsonProtocol sollte JSON-Zeichenfolgen mit NULL verarbeiten.

  • 8. März 2023
    • Die Fehlermeldung „Fehler beim Initialisieren der Konfiguration“ wurde verbessert, um mehr Kontext für den Kunden bereitzustellen.
    • Es gibt eine Terminologieänderung für das Hinzufügen von Funktionen zu einer Delta-Tabelle mithilfe der table-Eigenschaft. Die bevorzugte Syntax ist jetzt 'delta.feature.featureName'='supported' anstelle von 'delta.feature.featureName'='enabled'. Aus Gründen der Abwärtskompatibilität funktioniert 'delta.feature.featureName'='enabled' weiterhin, und das wird auch so bleiben.
    • Ab dieser Version ist es möglich, eine Tabelle durch die zusätzliche Tabelleneigenschaft „delta.ignoreProtocolDefaults“ zu erstellen/zu ersetzen, um protokollbezogene Spark-Konfigurationen zu ignorieren, die standardmäßige Reader- und Writerversionen sowie standardmäßig unterstützte Tabellenfunktionen enthalten.
    • [SPARK-42070] Ändern des Standardwerts des Arguments der Mask-Funktion von -1 in NULL
    • [SPARK-41793] Falsches Ergebnis für Fensterrahmen, die durch eine Bereichsklausel für signifikante Dezimalstellen definiert sind
    • [SPARK-42484] Bessere UnsafeRowUtils-Fehlermeldung
    • [SPARK-42516] Beim Erstellen von Ansichten immer die Sitzungszeitzonenkonfiguration erfassen
    • [SPARK-42635] Korrigieren des TimestampAdd-Ausdrucks
    • [SPARK-42622] Ersetzung in Werten deaktiviert
    • [SPARK-42534] Korrigieren der Db2Dialect Limit-Klausel
    • [SPARK-42121] Integrierte Tabellenwertfunktionen wie posexplode, posexplode_outer, json_tuple und stack hinzufügen
    • [SPARK-42045] ANSI SQL-Modus: Round/Bround sollte einen Fehler beim Integerüberlauf von tiny/small/significant zurückgeben.
    • Updates der Betriebssystemsicherheit.

Databricks Runtime 11.3 LTS

Weitere Informationen finden Sie unter Databricks Runtime 11.3 LTS.

  • 13. Februar 2024
    • [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • Updates der Betriebssystemsicherheit.
  • 25. Dezember 2023
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
    • [SPARK-46602] Propagieren von allowExisting beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist.
    • [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf WAHR festgelegt ist.
    • [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in ALSModel.transform.
    • [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
    • [SPARK-46249] Anforderung einer Instanzsperre für den Abruf von RocksDB-Metriken, um Rennen mit Hintergrundvorgängen zu verhindern.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
  • 14. Dezember 2023
    • Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden.
    • [SPARK-43973] Strukturierte Streaming-UI zeigt jetzt fehlerhafte Abfragen ordnungsgemäß an.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • [SPARK-45544] SSL-Unterstützung in TransportContext integriert.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • [SPARK-43718] NULL-Zulässigkeit für Schlüssel in USING-Verknüpfungen korrigiert.
    • [SPARK-44846] Komplexe Gruppierungsausdrücke nach RemoveRedundantAggregates entfernt.
    • Updates der Betriebssystemsicherheit.
  • 14. November 2023
    • Partitionsfilter für Delta Lake-Streamingabfragen werden unter die Ratenbegrenzung vermindert, um eine bessere Auslastung zu erzielen.
    • [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ „Stage“ und „Task“ entfernt.
    • [SPARK-45545]SparkTransportConf erbt SSLOptions bei der Erstellung.
    • Rückgängig gemacht: [SPARK-33861].
    • [SPARK-45541]SSLFactory hinzugefügt.
    • [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
    • [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit TakeOrderedAndProjectExec behoben.
    • [SPARK-45430]FramelessOffsetWindowFunction löst bei IGNORE NULLS und offset > rowCount keinen Fehler mehr aus.
    • [SPARK-45427] RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf hinzugefügt.
    • Updates der Betriebssystemsicherheit.
  • 24. Oktober 2023
    • [SPARK-45426] Unterstützung für ReloadingX509TrustManager hinzugefügt.
    • Verschiedene Korrekturen
  • 13. Oktober 2023
    • Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
    • [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
    • [SPARK-45084]StateOperatorProgress zum Verwenden einer genauen, effektiven Shuffle-Partitionsnummer
    • [SPARK-45346] Beim Parquet-Schemarückschluss wird jetzt die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
    • Updates der Betriebssystemsicherheit.
  • 10. September 2023
    • Verschiedene Korrekturen
  • 30. August 2023
    • [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor taskThread initialisiert wird.
    • [SPARK-44871][11.3-13.0] percentile_disc-Verhalten wurde korrigiert.
    • Updates der Betriebssystemsicherheit.
  • 15. August 2023
    • [SPARK-44485] Optimierung von TreeNode.generateTreeString.
    • [SPARK-44504] Wartungsaufgabe bereinigt geladene Anbieter bei Stoppfehler.
    • [SPARK-44464] Korrektur von applyInPandasWithStatePythonRunner, sodass Zeilen mit Null als erstem Spaltenwert ausgegeben werden.
    • Updates der Betriebssystemsicherheit.
  • 27. Juli 2023
    • Problem behoben, das dazu führte, dass INVALID_PARAMETER_VALUE.LOCATION_OVERLAP von dbutils.fs.ls() beim Aufruf für einen Speicherortpfad zurückgegeben wurde, der mit einem anderen externen oder verwalteten Speicherort in Konflikt stand.
    • [SPARK-44199]CacheManager aktualisiert fileIndex nicht mehr unnötig.
    • Updates der Betriebssystemsicherheit.
  • 24. Juli 2023
    • [SPARK-44136] Ein Problem wurde behoben, das dazu führte, dass StateManager im Executor statt im Treiber in FlatMapGroupsWithStateExec materialisiert werden kann.
    • Updates der Betriebssystemsicherheit.
  • 23. Juni 2023
    • Updates der Betriebssystemsicherheit.
  • 15. Juni 2023
    • Photonisiertes approx_count_distinct.
    • Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
    • [SPARK-43779]ParseToDate lädt jetzt EvalMode in den Hauptthread.
    • [SPARK-40862] Unterstützung nicht aggregierter Unterabfragen in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von decorrelateInnerQuery erweitert.
    • [SPARK-43098] Korrektur der Richtigkeit von „COUNT bug“, wenn die skalare Unterabfrage eine group by-Klausel aufweist
    • Updates der Betriebssystemsicherheit.
  • 2. Juni 2023
    • Der JSON-Parser im failOnUnknownFields-Modus löscht einen Datensatz im DROPMALFORMED-Modus und schlägt direkt im FAILFAST-Modus fehl.
    • Verbesserung der Leistung inkrementeller Updates mit SHALLOW CLONE Iceberg und Parquet.
    • Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
    • [SPARK-43404] Überspringen der Wiederverwendung der SST-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um den ID-Übereinstimmungsfehler zu vermeiden
    • [SPARK-43527]catalog.listCatalogs in PySpark korrigiert.
    • [SPARK-43413][11.3-13.0] ListQuery-NULL-Zulässigkeit der IN-Unterabfrage korrigiert.
    • [SPARK-43340] Fehlendes Stapelablaufverfolgungsfeld in Ereignisprotokollen korrigiert.

Databricks Runtime 10.4 LTS

Weitere Informationen finden Sie unter Databricks Runtime 10.4 LTS.

  • 13. Februar 2024
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • Updates der Betriebssystemsicherheit.
  • 25. Dezember 2023
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
    • [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in ALSModel.transform.
    • [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
  • 14. Dezember 2023
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • [SPARK-45544] SSL-Unterstützung in TransportContext integriert.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • [SPARK-43718] NULL-Zulässigkeit für Schlüssel in USING-Verknüpfungen korrigiert.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ „Stage“ und „Task“ entfernt.
    • [SPARK-44846] Komplexe Gruppierungsausdrücke nach RemoveRedundantAggregates entfernt.
    • Updates der Betriebssystemsicherheit.
  • 14. November 2023
    • [SPARK-45541]SSLFactory hinzugefügt.
    • [SPARK-45545]SparkTransportConf erbt SSLOptions bei der Erstellung.
    • [SPARK-45427] RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf hinzugefügt.
    • [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
    • [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit TakeOrderedAndProjectExec behoben.
    • Rückgängig gemacht: [SPARK-33861].
    • Updates der Betriebssystemsicherheit.
  • 24. Oktober 2023
    • [SPARK-45426] Unterstützung für ReloadingX509TrustManager hinzugefügt.
    • Updates der Betriebssystemsicherheit.
  • 13. Oktober 2023
    • [SPARK-45084]StateOperatorProgress zum Verwenden einer genauen, effektiven Shuffle-Partitionsnummer
    • [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
    • Updates der Betriebssystemsicherheit.
  • 10. September 2023
    • Verschiedene Korrekturen
  • 30. August 2023
    • [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor taskThread initialisiert wird.
    • Updates der Betriebssystemsicherheit.
  • 15. August 2023
    • [SPARK-44504] Wartungsaufgabe bereinigt geladene Anbieter bei Stoppfehler.
    • [SPARK-43973] Die Benutzeroberfläche für strukturiertes Streaming zeigt jetzt fehlerhafte Abfragen ordnungsgemäß an.
    • Updates der Betriebssystemsicherheit.
  • 23. Juni 2023
    • Updates der Betriebssystemsicherheit.
  • 15. Juni 2023
    • Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
    • [SPARK-43098] Korrektur der Richtigkeit von „COUNT bug“, wenn die skalare Unterabfrage eine group by-Klausel aufweist
    • [SPARK-40862] Unterstützung nicht aggregierter Unterabfragen in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von decorrelateInnerQuery erweitert.
    • Updates der Betriebssystemsicherheit.
  • 2. Juni 2023
    • Der JSON-Parser im failOnUnknownFields-Modus löscht einen Datensatz im DROPMALFORMED-Modus und schlägt direkt im FAILFAST-Modus fehl.
    • Es wurde ein Problem bei der JSON-Analyse von Daten behoben, um UnknownFieldException zu verhindern.
    • Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
    • [SPARK-43404] Überspringen der Wiederverwendung der SST-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um den ID-Übereinstimmungsfehler zu vermeiden
    • [SPARK-43413]ListQuery-NULL-Zulässigkeit der IN-Unterabfrage korrigiert.
    • Updates der Betriebssystemsicherheit.
  • 17. Mai 2023
    • Parquet-Scans sind jetzt stabil gegen OOMs beim Scannen außergewöhnlich strukturierter Dateien durch dynamische Anpassung der Batchgröße. Dateimetadaten werden analysiert, um die Batchgröße präventiv zu verringern und bei Vorgangsversuchen als endgültiges Sicherheitsnetz erneut zu verringern.
    • [SPARK-41520] Aufteilen des AND_OR-Strukturmusters, um AND und OR zu trennen.
    • [SPARK-43190]ListQuery.childOutput entspricht jetzt der sekundären Ausgabe.
    • Updates der Betriebssystemsicherheit.
  • 25. April 2023
    • [SPARK-42928]resolvePersistentFunction sychronisieren.
    • Updates der Betriebssystemsicherheit.
  • 11. April 2023
    • Es wurde ein Problem behoben, bei dem die Autoloader-Schemaentwicklung zu einer endlosen Fehlerschleife führen kann, wenn eine neue Spalte im Schema eines geschachtelten JSON-Objekts erkannt wird.
    • [SPARK-42937]PlanSubqueries legt jetzt InSubqueryExec#shouldBroadcast auf „true“ fest.
    • [SPARK-42967] Korrigieren von SparkListenerTaskStart.stageAttemptId, wenn eine Aufgabe gestartet wird, nachdem die Phase abgebrochen wurde.
  • 29. März 2023
    • [SPARK-42668] Ausnahmeerfassung beim Versuch, den komprimierten Datenstrom in HDFSStateStoreProvider-Beendigung zu schließen
    • [SPARK-42635] Fehlerbehebung für...
    • Updates der Betriebssystemsicherheit.
  • 14. März 2023
    • [SPARK-41162] Korrigieren von Antiverknüpfung und halbe Verknüpfung für Selbstverknüpfung mit Aggregationen
    • [SPARK-33206] Berechnung der Gewichtung bei gemischten Indexcaches für kleine Indexdateien korrigieren
    • [SPARK-42484] Fehlermeldung für UnsafeRowUtils verbessert
    • Verschiedene Korrekturen
  • 28. Februar 2023
    • Unterstützung generierter Spalte für das date_format „yyyy-MM-dd“. Durch diese Änderung wird die Partitionsbereinigung für „yyyy-MM-dd“ als date_format in generierten Spalten unterstützt.
    • Benutzer*innen können jetzt mithilfe von Databricks Runtime 9.1 LTS oder höher bestimmte Delta-Tabellen lesen und schreiben, die Readerversion 3 und Writerversion 7 erfordern. Um erfolgreich zu sein, müssen Tabellenfunktionen, die im Tabellenprotokoll aufgeführt sind, von der aktuellen Version von Databricks Runtime unterstützt werden.
    • Unterstützung generierter Spalte für das date_format „yyyy-MM-dd“. Durch diese Änderung wird die Partitionsbereinigung für „yyyy-MM-dd“ als date_format in generierten Spalten unterstützt.
    • Updates der Betriebssystemsicherheit.
  • 16. Februar 2023
    • [SPARK-30220] Aktivieren der Verwendung von Exists/In-Unterabfragen außerhalb des Knotenfilters
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2023
    • Tabellentypen von JDBC-Tabellen sind jetzt standardmäßig EXTERNAL.
  • 18. Januar 2023
    • Azure Synapse-Connector gibt jetzt eine aussagekräftigere Fehlermeldung zurück, wenn ein Spaltenname ungültige Zeichen wie Leerzeichen oder Semikolons enthält. In solchen Fällen wird die folgende Meldung zurückgegeben: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Löschen des Schreibbatches nach dem Commit des RocksDB-Zustandsspeichers
    • [SPARK-41199] Beheben des Metrikproblems, wenn DSv1- und DSv2-Streamingquelle gemeinsam verwendet werden
    • [SPARK-41198] Korrektur von Metriken in Streamingabfragen mit CTE- und DSv1-Streamingquelle.
    • [SPARK-41339] Schließen und Neuerstellen des RocksDB-Schreibbatches (anstatt nur Löschen).
    • [SPARK-41732] Anwenden der baumstrukturbasierten Bereinigung für die Regel „SessionWindowing“.
    • Updates der Betriebssystemsicherheit.
  • 29. November 29 2022
    • Benutzer können das Verhalten führender und nachgestellter Leerzeichen beim Schreiben von Daten mithilfe des Redshift-Connectors konfigurieren. Die folgenden Optionen wurden hinzugefügt, um die Verarbeitung von Leerzeichen zu steuern:
      • Wenn csvignoreleadingwhitespace auf true festgelegt ist, entfernt dies führende Leerzeichen von Werten während Schreibvorgängen, wenn tempformat auf CSV oder CSV GZIP festgelegt ist. Leerzeichen werden beibehalten, wenn die Konfiguration auf false festgelegt ist. Standardmäßig lautet der Wert true.
      • Wenn csvignoretrailingwhitespace auf true festgelegt ist, entfernt dies nachgestellte Leerzeichen von Werten während Schreibvorgängen, wenn tempformat auf CSV oder CSV GZIP festgelegt ist. Leerzeichen werden beibehalten, wenn die Konfiguration auf false festgelegt ist. Standardmäßig lautet der Wert true.
    • Ein Problem bei der JSON-Analyse im Autoloader wurde behoben, wenn alle Spalten als Zeichenfolgen belassen wurden (cloudFiles.inferColumnTypes nicht festgelegt oder auf false festgelegt) und der JSON-Code geschachtelte Objekte enthielt.
    • Updates der Betriebssystemsicherheit.
  • 15. November 2022
    • Apache commons-text wurde auf 1.10.0 aktualisiert.
    • [SPARK-40646] Probleme bei der JSON-Analyse für Strukturen, Zuordnungen und Arrays wurden behoben. Wenn also ein Teil eines Datensatzes nicht mit dem Schema übereinstimmt, kann der Rest des Datensatzes weiterhin ordnungsgemäß geparst werden, anstatt dass NULL-Werte zurückgeben werden. Um das verbesserte Verhalten zu nutzen, legen Sie spark.sql.json.enablePartialResults auf true fest. Das Flag ist standardmäßig deaktiviert, um das ursprüngliche Verhalten beizubehalten.
    • [SPARK-40292] Korrigieren von Spaltennamen in der arrays_zip-Funktion, wenn aus geschachtelten Strukturen auf Arrays verwiesen wird
    • Updates der Betriebssystemsicherheit.
  • 1. November 2022
    • Ein Problem wurde behoben, das zu Folgendem führte: Wenn eine Delta-Tabelle eine benutzerdefinierte Spalte mit dem Namen _change_type enthielt, aber Datenfeed ändern für diese Tabelle deaktiviert war, wurden die Daten in dieser Spalte bei Ausführung von MERGE fälschlicherweise mit NULL-Werten gefüllt.
    • Es wurde ein Problem mit dem Autoloader behoben, bei dem eine Datei in demselben Mikrobatch dupliziert werden konnte, wenn allowOverwrites aktiviert war
    • [SPARK-40697] Ein schreibseitiger Zeichenabstand zum Abdecken externer Datendateien wurde hinzugefügt.
    • [SPARK-40596] Füllt ExecutorDecommission mit Nachrichten in ExecutorDecommissionInfo auf.
    • Updates der Betriebssystemsicherheit.
  • 18. Oktober 2022
    • Updates der Betriebssystemsicherheit.
  • 5. Oktober 2022
    • [SPARK-40468] Beheben der Spaltenbereinigung in CSV, wenn _corrupt_record ausgewählt ist.
    • Updates der Betriebssystemsicherheit.
  • 22. September 2022
    • Benutzer*innen können „spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true)“ festlegen, um die integrierte Auflistung für Autoloader in ADLS Gen2 erneut zu aktivieren. Die integrierte Auflistung wurde zuvor aufgrund von Leistungsproblemen deaktiviert, kann aber zu höheren Speicherkosten für Kunden geführt haben.
    • [SPARK-40315] Hinzufügen von hashCode() für Literal von ArrayBasedMapData
    • [SPARK-40213] Unterstützung der ASCII-Wertkonvertierung für Latin-1-Zeichen
    • [SPARK-40380] Korrektur der Konstantenfaltung von InvokeLike, um in den Plan eingebettete nicht serialisierbare Literale zu vermeiden
    • [SPARK-38404] Verbessern der CTE-Auflösung, wenn ein geschachtelter CTE auf einen äußeren CTE verweist
    • [SPARK-40089] Korrektur der Sortierung für einige Dezimaltypen
    • [SPARK-39887] RemoveRedundantAliases sollte Aliase beibehalten, die die Ausgabe von Projektionsknoten eindeutig machen
  • 6. September 2022
    • [SPARK-40235] Verwenden einer unterbrechbaren Sperre anstelle einer synchronisierten in Executor.updateDependencies().
    • [SPARK-40218] GROUPING SETS muss die Gruppierungsspalten beibehalten.
    • [SPARK-39976] ArrayIntersect muss NULL-Werte im linken Ausdruck ordnungsgemäß behandeln.
    • [SPARK-40053] Hinzufügen von assume für Fälle mit dynamischem Abbruch, welche die Python-Runtimeumgebung benötigen.
    • [SPARK-35542] Korrektur: Bucketizer, der für mehrere Spalten mit den Parametern „splitsArray“, „inputCols“ und „outputCols“ erstellt wurde, kann nach dem Speichern nicht geladen werden.
    • [SPARK-40079] Imputer-inputCols-Validierung für leeren Eingabefall hinzugefügt.
  • 24. August 2022
    • [SPARK-39983] Keine Zwischenspeicherung von nicht serialisierten Übertragungsbeziehungen auf dem Treiber.
    • [SPARK-39775] Deaktivieren validierter Standardwerte beim Analysieren von Avro-Schemas.
    • [SPARK-39962] Projektion anwenden, wenn Gruppenattribute leer sind
    • [SPARK-37643] Wenn charVarcharAsString WAHR ist, sollte die Abfrage für das Datentypprädikat char die rpadding-Regel überspringen.
    • Updates der Betriebssystemsicherheit.
  • 9. August 2022
    • [SPARK-39847] Beheben einer Racebedingung in RocksDBLoader.loadLibrary(), wenn der Thread des Aufrufers unterbrochen wird
    • [SPARK-39731] Beheben eines Problems in CSV- und JSON-Datenquellen beim Analysieren von Daten im Format „jjjjMMtt“ mit der CORRECTED-Zeitparserrichtlinie
    • Updates der Betriebssystemsicherheit.
  • 27. Juli 2022
    • [SPARK-39625] Hinzufügen von Dataset.as(StructType).
    • [SPARK-39689] Unterstützung von 2-Zeichen-lineSep in CSV-Datenquelle.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded sollte threadsicher sein.
    • [SPARK-39570] Inline-Tabelle sollte Ausdrücke mit Alias zulassen.
    • [SPARK-39702] Verringern des Arbeitsspeicheroverheads von TransportCipher$EncryptedMessage mithilfe eines freigegebenen byteRawChannel.
    • [SPARK-39575] Hinzufügen von ByteBuffer#rewind nach ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] Deaktivieren der Aufhebung des Umbruchs der Umwandlungsoptimierung beim Umwandeln von Long zu Float/Double oder von Integer zu Float.
    • [SPARK-38868] Ausnahmen von Filterprädikaten beim Optimieren äußerer Verknüpfungen nicht propagieren.
    • Updates der Betriebssystemsicherheit.
  • 20. Juli 2022
    • Machen Sie die Ergebnisse von Deltazusammenführungsvorgängen (MERGE) konsistent, wenn die Quelle nicht deterministisch ist.
    • [SPARK-39355] Einzelne Spalte verwendet Anführungszeichen zum Konstruieren von UnresolvedAttribute.
    • [SPARK-39548] Beim CreateView-Befehl mit einer Fensterklauselabfrage führt zu einem falschen Problem „Fensterdefinition nicht gefunden“.
    • [SPARK-39419] Beheben von ArraySort, um eine Ausnahme auszulösen, wenn der Vergleichsoperator NULL zurückgibt.
    • Die Verwendung integrierter Cloud-APIs durch Autoloader für die Verzeichnisauflistung in Azure wurde deaktiviert.
    • Updates der Betriebssystemsicherheit.
  • 5. Juli 2022
    • [SPARK-39376] Ausblenden doppelter Spalten in der Sternerweiterung des Unterabfragealias von NATURAL/USING JOIN
    • Updates der Betriebssystemsicherheit.
  • 15. Juni 2022
    • [SPARK-39283] Beheben des Deadlock zwischen TaskMemoryManager und UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark sollte beim Lesen von Dateien keine Feldnamen überprüfen.
    • [SPARK-34096] Leistungsverbesserung für Fenster „nth_value: IGNORE NULLS über OFFSET“.
    • [SPARK-36718] Beheben der isExtractOnly-Überprüfung in CollapseProject.
  • 2. Juni 2022
    • [SPARK-39093] Codegen-Kompilierungsfehler beim Aufteilen von Jahr-Monat- oder Tag-Uhrzeit-Intervallen durch ein Integral vermeiden.
    • [SPARK-38990] NullPointerException beim Auswerten des date_trunc/trunc-Formats als gebundener Verweis vermeiden.
    • Updates der Betriebssystemsicherheit.
  • 18. Mai 2022
    • Behebt einen potenziellen Arbeitsspeicherverlust im Autoloader.
    • [SPARK-38918] Bei der Bereinigung geschachtelter Spalten sollten Attribute herausgefiltert werden, die nicht zur aktuellen Beziehung gehören.
    • [SPARK-37593] Standardseitengröße um LONG_ARRAY_OFFSET reduzieren, wenn G1GC und ON_HEAP verwendet werden.
    • [SPARK-39084] Beheben von df.rdd.isEmpty() mithilfe von TaskContext zum Beenden des Iterators beim Abschluss der Aufgabe.
    • [SPARK-32268] Hinzufügen von ColumnPruning in injectBloomFilter.
    • [SPARK-38974] Filtern registrierter Funktionen mit einem bestimmten Datenbanknamen in LIST-Funktionen.
    • [SPARK-38931] Erstellen eines Stamm-DFS-Verzeichnisses für RocksDBFileManager mit einer unbekannten Anzahl von Schlüsseln am 1. Prüfpunkt.
    • Updates der Betriebssystemsicherheit.
  • 19. April 2022
    • Java AWS SDK von Version 1.11.655 auf 1.12.1899 aktualisiert.
    • Es wurde ein Problem mit Notebookbibliotheken behoben, die in Batchstreamingaufträgen nicht funktionierten.
    • [SPARK-38616] SQL-Abfragetext in Catalyst TreeNode nachverfolgen
    • Updates der Betriebssystemsicherheit.
  • 6. April 2022
    • Die folgenden Spark SQL-Funktionen sind in diesem Release verfügbar:
      • timestampadd() und dateadd(): Zeitdauer in einer angegebenen Einheit zu einem Zeitstempelausdruck hinzufügen
      • timestampdiff() und datediff(): Zeitunterschied zwischen zwei Zeitstempelausdrücken in einer angegebenen Einheit berechnen
    • Parquet-MR auf 1.12.2 aktualisiert
    • Unterstützung für umfassende Schemas in Parquet-Dateien verbessert
    • [SPARK-38631] Verwendet Java-basierte Implementierung zum Entpacken bei Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherrypicking für drei timestmapadd/diff-Änderungen
    • [SPARK-38523] Beheben des Verweises auf beschädigte Datensatzspalte in CSV.
    • [SPARK-38237]ClusteredDistribution erlauben, vollständige Clusteringschlüssel zu erfordern.
    • [SPARK-38437] Milde Serialisierung von datetime-Werten aus der Datenquelle.
    • [SPARK-38180] Zulassen sicherer Umwandlungsausdrücke in korrelierten Gleichheitsprädikaten.
    • [SPARK-38155] Verbieten eindeutiger Aggregate in lateralen Unterabfragen mit nicht unterstützten Prädikaten.
    • Updates der Betriebssystemsicherheit.

Databricks Runtime 9.1 LTS

Siehe Databricks Runtime 9.1 LTS.

  • 13. Februar 2024
    • [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2024
    • Updates der Betriebssystemsicherheit.
  • 25. Dezember 2023
    • Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
    • [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
    • [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
    • [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
  • 14. Dezember 2023
    • Updates der Betriebssystemsicherheit.
  • 29. November 2023
    • Installiert ein neues Paket pyarrow-hotfix, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben.
    • [SPARK-45859] UDF-Objekte in ml.functions wurden als verzögert festgelegt.
    • [SPARK-45544] SSL-Unterstützung in TransportContext integriert.
    • [SPARK-45730] Zeiteinschränkungen für ReloadingX509TrustManagerSuite verbessert.
    • Updates der Betriebssystemsicherheit.
  • 14. November 2023
    • [SPARK-45545]SparkTransportConf erbt SSLOptions bei der Erstellung.
    • [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
    • [SPARK-45427] RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf hinzugefügt.
    • [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit TakeOrderedAndProjectExec behoben.
    • [SPARK-45541]SSLFactory hinzugefügt.
    • [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ „Stage“ und „Task“ entfernt.
    • Updates der Betriebssystemsicherheit.
  • 24. Oktober 2023
    • [SPARK-45426] Unterstützung für ReloadingX509TrustManager hinzugefügt.
    • Updates der Betriebssystemsicherheit.
  • 13. Oktober 2023
    • Updates der Betriebssystemsicherheit.
  • 10. September 2023
    • Verschiedene Korrekturen
  • 30. August 2023
    • Updates der Betriebssystemsicherheit.
  • 15. August 2023
    • Updates der Betriebssystemsicherheit.
  • 23. Juni 2023
    • Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
    • Updates der Betriebssystemsicherheit.
  • 15. Juni 2023
    • [SPARK-43098] Beheben der Richtigkeit des COUNT-Fehlers, wenn die skalare Unterabfrage eine „gruppieren nach“-Klausel aufweist.
    • [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von decorrelateInnerQuery erweitern
    • [SPARK-40862] Unterstützung nicht aggregierter Unterabfragen in RewriteCorrelatedScalarSubquery.
    • Updates der Betriebssystemsicherheit.
  • 2. Juni 2023
    • Der JSON-Parser im failOnUnknownFields-Modus löscht einen Datensatz im DROPMALFORMED-Modus und schlägt direkt im FAILFAST-Modus fehl.
    • Es wurde ein Problem bei der JSON-Analyse von Daten behoben, um UnknownFieldException zu verhindern.
    • Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
    • [SPARK-37520] Hinzufügen der Zeichenfolgenfunktionen startswith() und endswith()
    • [SPARK-43413]ListQuery-NULL-Zulässigkeit der IN-Unterabfrage korrigiert.
    • Updates der Betriebssystemsicherheit.
  • 17. Mai 2023
    • Updates der Betriebssystemsicherheit.
  • 25. April 2023
    • Updates der Betriebssystemsicherheit.
  • 11. April 2023
    • Es wurde ein Problem behoben, bei dem die Autoloader-Schemaentwicklung zu einer endlosen Fehlerschleife führen kann, wenn eine neue Spalte im Schema eines geschachtelten JSON-Objekts erkannt wird.
    • [SPARK-42967] Korrigieren von SparkListenerTaskStart.stageAttemptId, wenn eine Aufgabe gestartet wird, nachdem die Phase abgebrochen wurde.
  • 29. März 2023
    • Updates der Betriebssystemsicherheit.
  • 14. März 2023
    • [SPARK-42484] Fehlermeldung für UnsafeRowUtils verbessert
    • Verschiedene Korrekturen
  • 28. Februar 2023
    • Benutzer*innen können jetzt mithilfe von Databricks Runtime 9.1 LTS oder höher bestimmte Delta-Tabellen lesen und schreiben, die Readerversion 3 und Writerversion 7 erfordern. Um erfolgreich zu sein, müssen Tabellenfunktionen, die im Tabellenprotokoll aufgeführt sind, von der aktuellen Version von Databricks Runtime unterstützt werden.
    • Updates der Betriebssystemsicherheit.
  • 16. Februar 2023
    • Updates der Betriebssystemsicherheit.
  • 31. Januar 2023
    • Tabellentypen von JDBC-Tabellen sind jetzt standardmäßig EXTERNAL.
  • 18. Januar 2023
    • Updates der Betriebssystemsicherheit.
  • 29. November 29 2022
    • Ein Problem bei der JSON-Analyse im Autoloader wurde behoben, wenn alle Spalten als Zeichenfolgen belassen wurden (cloudFiles.inferColumnTypes nicht festgelegt oder auf false festgelegt) und der JSON-Code geschachtelte Objekte enthielt.
    • Updates der Betriebssystemsicherheit.
  • 15. November 2022
    • Apache commons-text wurde auf 1.10.0 aktualisiert.
    • Updates der Betriebssystemsicherheit.
    • Verschiedene Korrekturen
  • 1. November 2022
    • Ein Problem wurde behoben, das zu Folgendem führte: Wenn eine Delta-Tabelle eine benutzerdefinierte Spalte mit dem Namen _change_type enthielt, aber Datenfeed ändern für diese Tabelle deaktiviert war, wurden die Daten in dieser Spalte bei Ausführung von MERGE fälschlicherweise mit NULL-Werten gefüllt.
    • Es wurde ein Problem mit dem Autoloader behoben, bei dem eine Datei in demselben Mikrobatch dupliziert werden konnte, wenn allowOverwrites aktiviert war
    • [SPARK-40596] Füllt ExecutorDecommission mit Nachrichten in ExecutorDecommissionInfo auf.
    • Updates der Betriebssystemsicherheit.
  • 18. Oktober 2022
    • Updates der Betriebssystemsicherheit.
  • 5. Oktober 2022
    • Verschiedene Korrekturen
    • Updates der Betriebssystemsicherheit.
  • 22. September 2022
    • Benutzer*innen können „spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true")“ festlegen, um die integrierte Auflistung Listing für Autoloader in ADLS Gen2 erneut zu aktivieren. Die integrierte Auflistung wurde zuvor aufgrund von Leistungsproblemen deaktiviert, kann aber zu höheren Speicherkosten für Kunden geführt haben.
    • [SPARK-40315] Hinzufügen von hashCode() für Literal von ArrayBasedMapData
    • [SPARK-40089] Korrektur der Sortierung für einige Dezimaltypen
    • [SPARK-39887] RemoveRedundantAliases sollte Aliase beibehalten, die die Ausgabe von Projektionsknoten eindeutig machen
  • 6. September 2022
    • [SPARK-40235] Verwenden einer unterbrechbaren Sperre anstelle einer synchronisierten in Executor.updateDependencies()
    • [SPARK-35542] Korrektur: Bucketizer, der für mehrere Spalten mit den Parametern „splitsArray“, „inputCols“ und „outputCols“ erstellt wurde, kann nach dem Speichern nicht geladen werden.
    • [SPARK-40079] Imputer-inputCols-Überprüfung für leeren Eingabefall hinzugefügt
  • 24. August 2022
    • [SPARK-39666] Verwenden Sie UnsafeProjection.create, um spark.sql.codegen.factoryMode in ExpressionEncoder zu berücksichtigen
    • [SPARK-39962] Projektion anwenden, wenn Gruppenattribute leer sind
    • Updates der Betriebssystemsicherheit.
  • 9. August 2022
    • Updates der Betriebssystemsicherheit.
  • 27. Juli 2022
    • Machen Sie die Ergebnisse von Deltazusammenführungsvorgängen (MERGE) konsistent, wenn die Quelle nicht deterministisch ist.
    • [SPARK-39689] Unterstützung für lineSep mit zwei Zeichen in CSV-Datenquelle
    • [SPARK-39575]ByteBuffer#rewind nach ByteBuffer#get in AvroDeserializer hinzugefügt.
    • [SPARK-37392] Der Leistungsfehler für Catalyst-Optimierer wurde behoben.
    • Updates der Betriebssystemsicherheit.
  • 13. Juli 2022
    • [SPARK-39419]ArraySort löst nun eine Ausnahme aus, wenn der Vergleichsoperator NULL zurückgibt.
    • Die Verwendung integrierter Cloud-APIs durch Autoloader für die Verzeichnisauflistung in Azure wurde deaktiviert.
    • Updates der Betriebssystemsicherheit.
  • 5. Juli 2022
    • Updates der Betriebssystemsicherheit.
    • Verschiedene Korrekturen
  • 15. Juni 2022
    • [SPARK-39283] Beheben eines Deadlocks zwischen TaskMemoryManager und UnsafeExternalSorter.SpillableIterator
  • 2. Juni 2022
    • [SPARK-34554] Implementieren der copy()-Methode in ColumnarMap.
    • Updates der Betriebssystemsicherheit.
  • 18. Mai 2022
    • Potenzieller Arbeitsspeicherverlust im Autoloader korrigiert.
    • Upgrade der AWS SDK-Version von 1.11.655 auf 1.11.678.
    • [SPARK-38918] Bei der Bereinigung geschachtelter Spalten sollten Attribute herausgefiltert werden, die nicht zur aktuellen Beziehung gehören.
    • [SPARK-39084]df.rdd.isEmpty() mithilfe von TaskContext zum Beenden des Iterators für den Vorgangsabschluss korrigiert
    • Updates der Betriebssystemsicherheit.
  • 19. April 2022
    • Updates der Betriebssystemsicherheit.
    • Verschiedene Korrekturen
  • 6. April 2022
    • [SPARK-38631] Verwendet Java-basierte Implementierung zum Entpacken bei Utils.unpack.
    • Updates der Betriebssystemsicherheit.
  • 22. März 2022
    • Auf Clustern mit hoher Parallelität, bei denen entweder die Zugriffssteuerung für Tabellen oder der Passthrough für Anmeldeinformationen aktiviert ist, entspricht das aktuelle Arbeitsverzeichnis der Notebooks jetzt dem Basisverzeichnis der Benutzer*innen. Zuvor war das aktive Verzeichnis /databricks/driver.
    • [SPARK-38437] Vorsichtige Serialisierung von datetime-Werten in der Datenquelle
    • [SPARK-38180] Sichere Umwandlungsausdrücke in korrelierten Gleichheitsprädikaten zulassen
    • [SPARK-38155] Verschiedene Aggregate in lateralen Unterabfragen mit nicht unterstützten Prädikaten verbieten
    • [SPARK-27442] Prüffeld beim Lesen oder Schreiben von Daten in einer Parquet-Datei entfernt.
  • 14. März 2022
    • [SPARK-38236] Absolute Dateipfade, die in „Tabelle erstellen/ändern“ angegeben sind, werden als relativ behandelt.
    • [SPARK-34069] Auftragsthread unterbrechen, wenn die lokale Eigenschaft SPARK_JOB_INTERRUPT_ON_CANCEL auf „true“ festgelegt ist.
  • 23. Februar 2022
    • [SPARK-37859] SQL-Tabellen, die mit JDBC mit Spark 3.1 erstellt wurden, können nicht mit 3.2 gelesen werden.
  • 8. Februar 2022
    • [SPARK-27442] Prüffeld beim Lesen oder Schreiben von Daten in einer Parquet-Datei entfernt.
    • Updates der Betriebssystemsicherheit.
  • 1. Februar 2022
    • Updates der Betriebssystemsicherheit.
  • 26. Januar 2022
    • Ein Problem wurde behoben, bei dem gleichzeitige Transaktionen für Delta-Tabellen unter bestimmten seltenen Bedingungen in einer nicht serialisierbaren Reihenfolge committet werden konnten.
    • Ein Problem wurde behoben, bei dem der OPTIMIZE-Befehl u. U. fehlschlug, wenn der ANSI-SQL-Dialekt aktiviert war.
  • 19. Januar 2022
    • Kleinere Fehlerbehebungen und Sicherheitsverbesserungen.
    • Updates der Betriebssystemsicherheit.
  • 4. November 2021
    • Ein Problem wurde behoben, das dazu führen konnte, dass Structured Streaming-Streams mit ArrayIndexOutOfBoundsException fehlschlagen.
    • Es wurde eine Race-Condition behoben, die zu einem Abfragefehler mit einer IOException wie java.io.IOException: No FileSystem for scheme oder die führen konnte, oder die dazu führen konnte, dass Änderungen in sparkContext.hadoopConfiguration in Abfragen nicht wirksam wurden.
    • Der Apache Spark Connector für die Deltafreigabe wurde auf 0.2.0 aktualisiert.
  • 20. Oktober 2021
    • BigQuery-Connector von 0.18.1 auf 0.22.2 aktualisiert. Dadurch wird Unterstützung für den BigNumeric-Typ hinzugefügt.