Wartungsupdates für Databricks Runtime
In diesem Artikel werden Wartungsupdates für unterstützte Databricks Runtime-Versionen aufgeführt. Um ein Wartungsupdate zu einem bestehenden Cluster hinzuzufügen, starten Sie den Cluster neu. Informationen zu den Wartungsupdates für nicht unterstützte Databricks Runtime-Versionen finden Sie unter Wartungsupdates für Databricks Runtime (archiviert).
Hinweis
Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst einige Tage nach dem ursprünglichen Veröffentlichungsdatum aktualisiert.
Databricks Runtime-Releases
Wartungsupdates nach Release:
- Databricks Runtime 14.3
- Databricks Runtime 14.2
- Databricks Runtime 14.1
- Databricks Runtime 14.0
- Databricks Runtime 13.3 LTS
- Databricks Runtime 12.2 LTS
- Databricks Runtime 11.3 LTS
- Databricks Runtime 10.4 LTS
- Databricks Runtime 9.1 LTS
Databricks Runtime 14.3
Weitere Informationen unter Databricks Runtime 14.3 LTS.
- 3. Januar 2024
- [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
- [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
- [SPARK-46954] XML: Wrap InputStreamReader mit BufferedReader.
- [SPARK-46655] Abfangen des Abfragekontext in
DataFrame
-Methoden überspringen. - [SPARK-44815] Cache df.schema, um zusätzliche RPC zu vermeiden.
- [SPARK-46952] XML: Begrenzen der Größe eines beschädigten Datensatzes.
- [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
- [SPARK-46736] leeres Nachrichtenfeld im Protobuf-Connector beibehalten.
- [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
- [SPARK-46414] Verwenden Sie prependBaseUri, um Javascript-Importe zu rendern.
- [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von
TaskInfo.accumulables()
reduzieren. - [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- [SPARK-46954] XML: Optimieren der Schemaindex-Lookup.
- [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
- [SPARK-46644] Ändern Sie das Hinzufügen und Zusammenführen in SQLMetric, um isZero zu verwenden.
- [SPARK-46731] Verwalten der Instanz des Statusspeicheranbieters nach Statusdatenquelle – Reader.
- [SPARK-46677] Behebung der
dataframe["*"]
-Auflösung. - [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
- [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
- [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
- [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
- [SPARK-46227] Backport nach 14.3.
- [SPARK-46822] Respektieren Sie spark.sql.legacy.charVarcharAsString, wenn Sie den Katalysatortyp in Schriftart umwandeln.
- Updates der Betriebssystemsicherheit.
Databricks Runtime 14.2
Siehe Databricks Runtime 14.2.
- 8. Februar 2024
- [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
- [SPARK-46822] Respektieren Sie spark.sql.legacy.charVarcharAsString, wenn Sie den Katalysatortyp in Schriftart umwandeln.
- [SPARK-46952] XML: Begrenzen der Größe eines beschädigten Datensatzes.
- [SPARK-46644] Ändern Sie das Hinzufügen und Zusammenführen in SQLMetric, um isZero zu verwenden.
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
- [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
- [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- [SPARK-46382] XML: Dokument aktualisieren für
ignoreSurroundingSpaces
. - [SPARK-46382] XML: Erfassung von Werten, die an verschiedenen Stellen zwischen Elementen eingefügt werden.
- [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
- Wiederherstellen [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
- [SPARK-46677] Behebung der
dataframe["*"]
-Auflösung. - [SPARK-46382] XML: Festlegung des Standardwerts von ignoreSurroundingSpaces auf „true“.
- [SPARK-46633] Korrigieren Sie den Avro-Reader, um Blöcke der Länge Null zu verarbeiten.
- [SPARK-45964] Entfernung des privaten SQL-Accessors in XML- und JSON-Paketen unter dem Catalyst-Paket.
- [SPARK-46581] Aktualisierung des Kommentars zu isZero in AccumulatorV2.
- [SPARK-45912] Erweiterung der XSDToSchema-API: Wechsel zur HDFS-API zum Sicherstellen der Zugänglichkeit des Cloudspeichers.
- [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
- [SPARK-46660] Aktualisierung des Aktivitätsstatus von SessionHolder durch ReattachExecute-Anforderungen.
- [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
- [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von
TaskInfo.accumulables()
reduzieren. - [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
- [SPARK-46684] Korrigieren Sie CoGroup.applyInPandas/Arrow, um Argumente ordnungsgemäß zu übergeben.
- [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
- [SPARK-45962] Entfernen Sie
treatEmptyValuesAsNulls
und verwenden Sie stattdessen dienullValue
-Option in XML. - [SPARK-46541] Korrigieren Sie den mehrdeutigen Spaltenverweis in der Selbstverknüpfung.
- [SPARK-46599] XML: Verwendung von TypeCoercion.findTightestCommonType für die Kompatibilitätsüberprüfung.
- Updates der Betriebssystemsicherheit.
- [SPARK-46382] XML: Dokument aktualisieren für
- 17. Januar 2024
- Der
shuffle
-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um dascausedBroadcastJoinBuildOOM=true
-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist. - Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenamed
sollte die Reihenfolge für Verzeichnis/Zuordnung beibehalten. - [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in
ALSModel.transform
. - [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
- [SPARK-46484] Sorgt dafür, dass
resolveOperators
-Hilfsfunktionen die Plan-ID beibehalten. - [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn
spark.sql.legacy.keepCommandOutputSchema
auf WAHR festgelegt ist. - [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
- [SPARK-46446] Deaktivieren von Unterabfragen mit korreliertem OFFSET, um Fehler mit der Korrektheit zu beheben.
- [SPARK-46152] XML: Hinzufügung der DecimalType-Unterstützung im XML-Schemarückschluss.
- [SPARK-46602] Propagieren von
allowExisting
beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist. - [SPARK-45814] close()-Aufruf durch ArrowConverters.createEmptyArrowBatch, um Arbeitsspeicherverlust zu vermeiden.
- [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
- [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
- [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
- [SPARK-46153] XML: Hinzufügen von Support für TimestampNTZType.
- [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
- [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
- [SPARK-46260]
DataFrame.withColumnsRenamed
sollte die Reihenfolge der Verzeichnisse beachten. - [SPARK-46036] [SC-149356][SQL] Entfernung von „error-class“ aus der Funktion „raise_error“.
- [SPARK-46294] Bereinigung der Semantik des Initialisierungswerts im Vergleich zum Nullwert.
- [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
- [SPARK-46250] Deflagieren von test_parity_listener.
- [SPARK-46587] XML: Beheben der XSD-Konvertierung einer großen Ganzzahl.
- [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
- [SPARK-46241] Beheben der Fehlerbehandlungsroutine, damit sie nicht in eine unendliche Rekursion fällt.
- [SPARK-46355] XML: Schließen von InputStreamReader nach Abschluss des Lesevorgangs.
- [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
- [SPARK-46265] Assertionen in AddArtifact RPC machen den Connect-Client inkompatibel mit älteren Clustern.
- [SPARK-46308] Rekursive Fehlerbehandlung verbieten.
- [SPARK-46337]
CTESubstitution
soll diePLAN_ID_TAG
beibehalten.
- Der
- 14. Dezember 2023
- [SPARK-46141] Änderung des Standardwerts für spark.sql.legacy.ctePrecedencePolicy in CORRECTED.
- [SPARK-45730] ReloadingX509TrustManagerSuite weniger fehleranfällig machen.
- [SPARK-45852] Ordentlicher Umgang mit Rekursionsfehlern während der Protokollierung.
- [SPARK-45808] Bessere Fehlerbehandlung für SQL-Ausnahmen.
- [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
- Wiederherstellen von „[SPARK-45649] Vereinheitlichen des Vorbereitungsframeworks für
OffsetWindowFunctionFrame
“. - [SPARK-45733] Unterstützen mehrerer RETRY-Richtlinien.
- [SPARK-45509] Beheben des Verweisverhaltens der df-Spalte für Spark Connect.
- [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
- [SPARK-45905] Der kleinste gemeinsame Typ zwischen Dezimaltypen sollte zuerst ganzzahlige Ziffern beibehalten.
- [SPARK-45136] Verbessern von ClosureCleaner mit Ammonit-Support.
- [SPARK-46255] Unterstützen des komplexen Typs –> Zeichenfolgenkonvertierung.
- [SPARK-45859] UDF-Objekte in ml.functions träge machen.
- [SPARK-46028]
Column.__getitem__
sollte Eingabespalten akzeptieren. - [SPARK-45798] Bestätigen der serverseitigen Sitzungs-ID.
- [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um
validateSchemaOutput
undvalidateExprIdUniqueness
zu entkoppeln. - [SPARK-45844] Implementieren der Nichtunterscheidung nach Groß-/Kleinschreibung für XML.
- [SPARK-45770] Einführung des Plans
DataFrameDropColumns
fürDataframe.drop
. - [SPARK-44790] XML: to_xml-Implementierung und Bindungen für Python, Connect und SQL.
- [SPARK-45851] Unterstützen mehrerer Richtlinien im Scala-Client.
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in
getColumns
-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden. - [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - [SPARK-45852] Der Python-Client für Spark Connect erfasst jetzt Rekursionsfehler während der Textkonvertierung.
- [SPARK-45808] Verbesserte Fehlerbehandlung für SQL-Ausnahmen.
- [SPARK-45920] Die Ordnungszahl
GROUP BY
ersetzt nicht die Ordnungszahl. - Rückgängig gemacht: [SPARK-45649].
- [SPARK-45733] Unterstützung für mehrere Wiederholungsrichtlinien hinzugefügt.
- [SPARK-45509] Verweisverhalten der
df
-Spalte für Spark Connect korrigiert. - [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von
AggregateFunctions
inCollectMetrics
. - [SPARK-45905] Der kleinste gemeinsame Typ zwischen Dezimaltypen behält jetzt zuerst ganzzahlige Ziffern bei.
- [SPARK-45136]
ClosureCleaner
wurde mit Ammonite-Unterstützung optimiert. - [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - [SPARK-46028]
Column.__getitem__
akzeptiert Eingabespalten. - [SPARK-45798] Bestätigen der serverseitigen Sitzungs-ID.
- [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um
validateSchemaOutput
undvalidateExprIdUniqueness
zu entkoppeln. - [SPARK-45844] Implementieren der Nichtunterscheidung nach Groß-/Kleinschreibung für XML.
- [SPARK-45770] Spaltenauflösung mit
DataFrameDropColumns
fürDataframe.drop
korrigiert. - [SPARK-44790]
to_xml
-Implementierung und Bindungen für Python, Spark Connect und SQL hinzugefügt. - [SPARK-45851] Unterstützung für mehrere Richtlinien im Scala-Client hinzugefügt.
- Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
Databricks Runtime 14.1
Siehe Databricks Runtime 14.1.
- 8. Februar 2024
- [SPARK-46952] XML: Begrenzen der Größe eines beschädigten Datensatzes.
- [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
- [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
- [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- [SPARK-45582] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird.
- [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
- [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
- [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
- [SPARK-46822] Respektieren Sie spark.sql.legacy.charVarcharAsString, wenn Sie den Katalysatortyp in Schriftart umwandeln.
- [SPARK-45957] Vermeiden Sie das Generieren des Ausführungsplans für nicht ausführbare Befehle.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- [SPARK-46684] Korrigieren Sie CoGroup.applyInPandas/Arrow, um Argumente ordnungsgemäß zu übergeben.
- [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
- [SPARK-45498] Followup: Ignorieren des Aufgabenabschlusses aus alten Phasenversuchen.
- [SPARK-46382] XML: Dokument aktualisieren für
ignoreSurroundingSpaces
. - [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von
TaskInfo.accumulables()
reduzieren. - [SPARK-46382] XML: Festlegung des Standardwerts von ignoreSurroundingSpaces auf „true“.
- [SPARK-46677] Behebung der
dataframe["*"]
-Auflösung. - [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
- [SPARK-46633] Korrigieren Sie den Avro-Reader, um Blöcke der Länge Null zu verarbeiten.
- [SPARK-45912] Erweiterung der XSDToSchema-API: Wechsel zur HDFS-API zum Sicherstellen der Zugänglichkeit des Cloudspeichers.
- [SPARK-46599] XML: Verwendung von TypeCoercion.findTightestCommonType für die Kompatibilitätsüberprüfung.
- [SPARK-46382] XML: Erfassung von Werten, die an verschiedenen Stellen zwischen Elementen eingefügt werden.
- [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
- [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
- [SPARK-45964] Entfernung des privaten SQL-Accessors in XML- und JSON-Paketen unter dem Catalyst-Paket.
- Wiederherstellen [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
- [SPARK-45962] Entfernen Sie
treatEmptyValuesAsNulls
und verwenden Sie stattdessen dienullValue
-Option in XML. - [SPARK-46541] Korrigieren Sie den mehrdeutigen Spaltenverweis in der Selbstverknüpfung.
- Updates der Betriebssystemsicherheit.
- 17. Januar 2024
- Der
shuffle
-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um dascausedBroadcastJoinBuildOOM=true
-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist. - Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in
ALSModel.transform
. - [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
- [SPARK-46484] Sorgt dafür, dass
resolveOperators
-Hilfsfunktionen die Plan-ID beibehalten. - [SPARK-46153] XML: Hinzufügen von Support für TimestampNTZType.
- [SPARK-46152] XML: Hinzufügung der DecimalType-Unterstützung im XML-Schemarückschluss.
- [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
- [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
- [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn
spark.sql.legacy.keepCommandOutputSchema
auf WAHR festgelegt ist. - [SPARK-46337]
CTESubstitution
soll diePLAN_ID_TAG
beibehalten. - [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
- [SPARK-46587] XML: Beheben der XSD-Konvertierung einer großen Ganzzahl.
- [SPARK-45814] close()-Aufruf durch ArrowConverters.createEmptyArrowBatch, um Arbeitsspeicherverlust zu vermeiden.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- [SPARK-46602] Propagieren von
allowExisting
beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist. - [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
- [SPARK-46355] XML: Schließen von InputStreamReader nach Abschluss des Lesevorgangs.
- [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenamed
sollte die Reihenfolge für Verzeichnis/Zuordnung beibehalten. - [SPARK-46056] Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
- [SPARK-46260]
DataFrame.withColumnsRenamed
sollte die Reihenfolge der Verzeichnisse beachten. - [SPARK-46250] Deflagieren von test_parity_listener.
- [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
- [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
- [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- Der
- 14. Dezember 2023
- Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
- [SPARK-45509] Beheben des Verweisverhaltens der df-Spalte für Spark Connect.
- [SPARK-45844] Implementieren der Nichtunterscheidung nach Groß-/Kleinschreibung für XML.
- [SPARK-46141] Änderung des Standardwerts für spark.sql.legacy.ctePrecedencePolicy in CORRECTED.
- [SPARK-46028]
Column.__getitem__
sollte Eingabespalten akzeptieren. - [SPARK-46255] Unterstützen des komplexen Typs –> Zeichenfolgenkonvertierung.
- [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
- [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
- [SPARK-45316] Hinzufügen der neuen Parameter
ignoreCorruptFiles
/ignoreMissingFiles
zuHadoopRDD
undNewHadoopRDD
- [SPARK-45852] Ordentlicher Umgang mit Rekursionsfehlern während der Protokollierung.
- [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in
getColumns
-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden. - Beim Erfassen von CSV-Daten mit dem Autoloader oder Streamingtabellen sind große CSV-Dateien jetzt teilbar und können während Schemarückschlüssen und Datenverarbeitung parallel verarbeitet werden.
- [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um
validateSchemaOutput
undvalidateExprIdUniqueness
zu entkoppeln. - [SPARK-45620] APIs im Zusammenhang mit Python-UDF verwenden jetzt camelCase.
- [SPARK-44790]
to_xml
-Implementierung und Bindungen für Python, Spark Connect und SQL hinzugefügt. - [SPARK-45770] Spaltenauflösung mit
DataFrameDropColumns
fürDataframe.drop
korrigiert. - [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - [SPARK-44784] SBT-Tests wurden als hermetisch festgelegt.
- Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
- 10. November 2023
- [SPARK-45545]
SparkTransportConf
erbtSSLOptions
bei der Erstellung. - [SPARK-45250] Unterstützung für das Aufgabenressourcenprofil auf Stagingebene für yarn-Cluster hinzugefügt, wenn die dynamische Zuordnung deaktiviert ist.
- [SPARK-44753] XML DataFrame-Lese- und -Schreibmodule für PySpark SQL hinzugefügt.
- [SPARK-45396] Dokumentationseintrag für das
PySpark.ml.connect
-Modul hinzugefügt. - [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit
TakeOrderedAndProjectExec
behoben. - [SPARK-45541] SSLFactory hinzugefügt.
- [SPARK-45577]
UserDefinedPythonTableFunctionAnalyzeRunner
korrigiert, um gefaltete Werte aus benannten Argumenten zu übergeben. - [SPARK-45562] „rowTag“ als erforderliche Option festgelegt.
- [SPARK-45427] RPC-SSL-Einstellungen zu
SSLOptions
undSparkTransportConf
hinzugefügt. - [SPARK-43380] Verlangsamung bei Avro-Lesevorgängen behoben.
- [SPARK-45430]
FramelessOffsetWindowFunction
löst beiIGNORE NULLS
undoffset > rowCount
keinen Fehler mehr aus. - [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
- [SPARK-45386] Problem behoben, durch das
StorageLevel.NONE
fälschlicherweise „0“ (null) zurückgegeben hat. - [SPARK-44219] Überprüfungen pro Regel für Optimierungsumschreibungen hinzugefügt.
- [SPARK-45543] Problem behoben, durch das
InferWindowGroupLimit
einen Fehler verursachte, wenn die anderen Fensterfunktionen nicht über denselben Fensterrahmen wie Funktionen mit demselben Rang verfügten. - Updates der Betriebssystemsicherheit.
- [SPARK-45545]
- 27. September 2023
- [SPARK-44823]
black
auf 23.9.1 aktualisiert und fehlerhafte Überprüfung korrigiert. - [SPARK-45339] PySpark protokolliert jetzt Fehler, die wiederholt werden.
- Rückgängig gemacht: [SPARK-42946] Vertrauliche Daten, die unter Variablenersetzungen geschachtelt werden, unkenntlich gemacht.
- [SPARK-44551] Kommentare, die mit OSS synchronisiert werden sollen, bearbeitet.
- [SPARK-45360] Spark-Sitzungsgenerator unterstützt die Initialisierung von
SPARK_REMOTE
. - [SPARK-45279]
plan_id
an alle logischen Pläne angefügt. - [SPARK-45425]
TINYINT
wurdeShortType
fürMsSqlServerDialect
zugeordnet. - [SPARK-45419] Eintrag für Dateiversionszuordnung für größere Versionen entfernt, um die erneute Wiederverwendung von
rocksdb
-SST-Datei-IDs zu vermeiden. - [SPARK-45488] Unterstützung für Wert in
rowTag
-Element hinzugefügt. - [SPARK-42205] Protokollierung von
Accumulables
inTask/Stage
-Startereignissen inJsonProtocol
-Ereignisprotokollen entfernt. - [SPARK-45426] Unterstützung für
ReloadingX509TrustManager
hinzugefügt. - [SPARK-45256]
DurationWriter
schlägt jetzt fehl, wenn mehr Werte als die Anfangskapazität geschrieben werden. - [SPARK-43380] Konvertierungsprobleme mit
Avro
-Datentyp behoben ohne eine Leistungsregression zu verursachen. - [SPARK-45182] Unterstützung für Rollbacks der Kartenmischphase hinzugefügt, sodass alle Stagingaufgaben erneut ausgeführt werden können, wenn die Stagingausgabe unbestimmt ist.
- [SPARK-45399] XML-Optionen bei Verwenden von
newOption
hinzugefügt. - Updates der Betriebssystemsicherheit.
- [SPARK-44823]
Databricks Runtime 14.0
Weitere Informationen finden Sie unter Databricks Runtime 14.0.
- 8. Februar 2024
- [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
- [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
- [SPARK-45182] Ignorieren Sie den Abschluss der Aufgabe aus der alten Phase, nachdem Sie die übergeordnete Phase erneut versucht haben, die durch Prüfsumme bestimmt wird.
- [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
- [SPARK-45957] Vermeiden Sie das Generieren des Ausführungsplans für nicht ausführbare Befehle.
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- [SPARK-46930] Fügen Sie Unterstützung für ein benutzerdefiniertes Präfix für Union-Typfelder in Avro hinzu.
- [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
- [SPARK-45582] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- [SPARK-46541] Korrigieren Sie den mehrdeutigen Spaltenverweis in der Selbstverknüpfung.
- [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
- [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
- [SPARK-45498] Followup: Ignorieren des Aufgabenabschlusses aus alten Phasenversuchen.
- Wiederherstellen [SPARK-46769] Verfeinern Sie den Zeitstempel im Zusammenhang mit der Schemainferenz.
- [SPARK-46383] Reduzieren Sie die Heap-Auslastung des Treibers, indem Sie die Lebensdauer von
TaskInfo.accumulables()
reduzieren. - [SPARK-46633] Korrigieren Sie den Avro-Reader, um Blöcke der Länge Null zu verarbeiten.
- [SPARK-46677] Behebung der
dataframe["*"]
-Auflösung. - [SPARK-46684] Korrigieren Sie CoGroup.applyInPandas/Arrow, um Argumente ordnungsgemäß zu übergeben.
- [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
- [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
- Updates der Betriebssystemsicherheit.
- 17. Januar 2024
- Der
shuffle
-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um dascausedBroadcastJoinBuildOOM=true
-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist. - Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn
spark.sql.legacy.keepCommandOutputSchema
auf WAHR festgelegt ist. - [SPARK-46250] Deflagieren von test_parity_listener.
- [SPARK-45814] close()-Aufruf durch ArrowConverters.createEmptyArrowBatch, um Arbeitsspeicherverlust zu vermeiden.
- [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
- [SPARK-46484] Sorgt dafür, dass
resolveOperators
-Hilfsfunktionen die Plan-ID beibehalten. - [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
- [SPARK-46056] Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
- [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenamed
sollte die Reihenfolge für Verzeichnis/Zuordnung beibehalten. - [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
- [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
- [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
- [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in
ALSModel.transform
. - [SPARK-46337]
CTESubstitution
soll diePLAN_ID_TAG
beibehalten. - [SPARK-46602] Propagieren von
allowExisting
beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist. - [SPARK-46260]
DataFrame.withColumnsRenamed
sollte die Reihenfolge der Verzeichnisse beachten. - [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
- Der
- 14. Dezember 2023
- Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
- [SPARK-46255] Unterstützen des komplexen Typs –> Zeichenfolgenkonvertierung.
- [SPARK-46028]
Column.__getitem__
sollte Eingabespalten akzeptieren. - [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
- [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
- [SPARK-45509] Beheben des Verweisverhaltens der df-Spalte für Spark Connect.
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in
getColumns
-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden. - Beim Erfassen von CSV-Daten mit dem Autoloader oder Streamingtabellen sind große CSV-Dateien jetzt teilbar und können während Schemarückschlüssen und Datenverarbeitung parallel verarbeitet werden.
- Der Spark-snowflake-Connector wird auf 2.12.0 aktualisiert.
- [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - Rückgängig gemacht: [SPARK-45592].
- [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um
validateSchemaOutput
undvalidateExprIdUniqueness
zu entkoppeln. - [SPARK-45592] Problem mit der Korrektheit in AQE mit
InMemoryTableScanExec
behoben. - [SPARK-45620] APIs im Zusammenhang mit Python-UDF verwenden jetzt camelCase.
- [SPARK-44784] SBT-Tests wurden als hermetisch festgelegt.
- [SPARK-45770] Spaltenauflösung mit
DataFrameDropColumns
fürDataframe.drop
korrigiert. - [SPARK-45544] SSL-Unterstützung in
TransportContext
integriert. - [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
- 10. November 2023
- Datenfeedabfragen in Unity Catalog-Streamingtabellen und materialisierten Sichten geändert, um Fehlermeldungen anzuzeigen.
- [SPARK-45545]
SparkTransportConf
erbtSSLOptions
bei der Erstellung. - [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit
TakeOrderedAndProjectExec
behoben. - [SPARK-45427] RPC-SSL-Einstellungen zu
SSLOptions
undSparkTransportConf
hinzugefügt. - [SPARK-45541]
SSLFactory
hinzugefügt. - [SPARK-45430]
FramelessOffsetWindowFunction
löst beiIGNORE NULLS
undoffset > rowCount
keinen Fehler mehr aus. - [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
- [SPARK-44219] Zusätzliche Überprüfungen pro Regel für Optimierungsumschreibungen hinzugefügt.
- [SPARK-45543] Problem behoben, durch das
InferWindowGroupLimit
einen Fehler verursachte, wenn die anderen Fensterfunktionen nicht über denselben Fensterrahmen wie Funktionen mit demselben Rang verfügten. - Updates der Betriebssystemsicherheit.
- 23. Oktober 2023
- [SPARK-45426] Unterstützung für
ReloadingX509TrustManager
hinzugefügt. - [SPARK-45396] Dokumenteintrag für
PySpark.ml.connect
-Modul hinzugefügt, undEvaluator
zu__all__
beiml.connect
hinzugefügt. - [SPARK-45256] Ein Problem wurde behoben, das dazu führte, dass
DurationWriter
fehlschlug, wenn mehr Werte als die Anfangskapazität geschrieben wurden. - [SPARK-45279]
plan_id
an alle logischen Pläne angefügt. - [SPARK-45250] Unterstützung für das Aufgabenressourcenprofil auf Stagingebene für yarn-Cluster hinzugefügt, wenn die dynamische Zuordnung deaktiviert ist.
- [SPARK-45182] Unterstützung für Rollbacks der Kartenmischphase hinzugefügt, sodass alle Stagingaufgaben erneut ausgeführt werden können, wenn die Stagingausgabe unbestimmt ist.
- [SPARK-45419] Vermeiden Sie,
rocksdb sst
-Dateien in einer anderenrocksdb
-Instanz wiederzuverwenden, indem Sie den Dateiversionszuordnungseintrag größerer Versionen entfernen. - [SPARK-45386] Problem behoben, durch das
StorageLevel.NONE
fälschlicherweise „0“ (null) zurückgegeben hat. - Updates der Betriebssystemsicherheit.
- [SPARK-45426] Unterstützung für
- 13. Oktober 2023
- Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
- Die Funktion
array_insert
basiert für positive und Indizes auf 1, während sie für negative Indizes zuvor auf 0 basierte. Es fügt nun ein neues Element am Ende des Eingabe-Arrays für den Index -1 ein. Um das vorherige Verhalten wiederherzustellen, legen Siespark.sql.legacy.negativeIndexInArrayInsert
auftrue
fest. - Beschädigte Dateien werden von Azure Databricks nicht mehr ignoriert, wenn
ignoreCorruptFiles
während des CSV-Schemarückschlusses mit Autoloader aktiviert wurde. - [SPARK-45227] Ein kleines Threadsicherheitsproblem wurde mit
CoarseGrainedExecutorBackend
behoben. - [SPARK-44658]
ShuffleStatus.getMapStatus
sollteNone
anstelle vonSome(null)
zurückgeben. - [SPARK-44910]
Encoders.bean
unterstützt keine übergeordneten Klassen mit generischen Typargumenten. - [SPARK-45346] Beim Parquet-Schemarückschluss wird die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
- Rückgängig gemacht: [SPARK-42946].
- [SPARK-42205] Das JSON-Protokoll aktualisiert, um die Protokollierung von Accumulables in Startereignissen von Aufgaben oder Stages zu entfernen.
- [SPARK-45360] Spark-Sitzungsgenerator unterstützt die Initialisierung von
SPARK_REMOTE
. - [SPARK-45316] Hinzufügen der neuen Parameter
ignoreCorruptFiles
/ignoreMissingFiles
zuHadoopRDD
undNewHadoopRDD
- [SPARK-44909] Überspringen des Ausführens des Protokollstreamingservers von TorchDistributor, wenn nicht verfügbar
- [SPARK-45084]-
StateOperatorProgress
verwendet jetzt die genaue Shuffle-Partitionsnummer. - [SPARK-45371] Beheben von Schattierungsproblemen beim Spark Connect-Scala-Client
- [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für
Trigger.AvailableNow
mit nicht unterstützte Quellen anstelle von Wrappern - [SPARK-44840] Es wurde festgelegt, dass
array_insert()
für negative Indizes auf 1 basiert. - [SPARK-44551] Kommentare, die mit OSS synchronisiert werden sollen, bearbeitet.
- [SPARK-45078] Die Funktion
ArrayInsert
führt jetzt explizite Umwandlungen durch, wenn der Elementtyp nicht dem abgeleiteten Komponententyp entspricht. - [SPARK-45339] PySpark protokolliert jetzt Wiederholungsfehler.
- [SPARK-45057] Vermeiden Sie eine Lesesperre, wenn
keepReadLock
FALSE ist. - [SPARK-44908] Parameterfunktionalität
foldCol
der Kreuzvalidierung korrigiert. - Updates der Betriebssystemsicherheit.
Databricks Runtime 13.3 LTS
Siehe Databricks Runtime 13.3 LTS.
- 8. Februar 2024
- [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
- [SPARK-46933] Fügen Sie die Abfrageausführungszeitmetrik zu Connectors hinzu, die JDBCRDD verwenden.
- [SPARK-45582] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird.
- [SPARK-46396] Der Zeitstempelrückschluss sollte keine Ausnahme auslösen.
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- [SPARK-46941] Der Knoten „Fenstergruppengrenzwert“ kann nicht für die Berechnung der obersten k-Ebene eingefügt werden, wenn sizeBasedWindowFunction enthalten ist.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- [SPARK-46610] Create-Tabelle sollte eine Ausnahme auslösen, wenn kein Wert für einen Schlüssel in den Optionen angegeben wird.
- [SPARK-46383] Reduzieren Sie die Treiber Heap-Nutzung, indem Sie die Lebensdauer von TaskInfo.accumulables() reduzieren.
- [SPARK-46600] Verschieben von freigegebenem Code zwischen SqlConf und SqlApiConf zu SqlApiConfHelper.
- [SPARK-46676] dropDuplicatesWithinWatermark sollte bei der Kanonisierung des Plans nicht fehlschlagen.
- [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
- Updates der Betriebssystemsicherheit.
- 17. Januar 2024
- Der
shuffle
-Knoten des Erklärungsplans, der von einer Photon-Abfrage zurückgegeben wird, wird aktualisiert, um dascausedBroadcastJoinBuildOOM=true
-Flag hinzuzufügen, wenn ein Out-of-Memory-Fehler während eines Shuffle auftritt, der Teil einer Übertragungsverknüpfung ist. - Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- [SPARK-46173] Überspringen des trimAll-Aufrufs während der Datumsanalyse.
- [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
- [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
- [SPARK-46370] Beheben eines Fehlers beim Abfragen aus der Tabelle nach dem Ändern der Spaltenstandardwerte.
- [SPARK-46609] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- [SPARK-46602] Propagieren von
allowExisting
beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist. - [SPARK-46249] Anforderung einer Instanzsperre für den Abruf von RocksDB-Metriken, um Rennen mit Hintergrundvorgängen zu verhindern.
- [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
- [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in
ALSModel.transform
. - [SPARK-46478] Wiederherstellen von SPARK-43049, um Oracle varchar(255) für Zeichenfolgen zu verwenden.
- [SPARK-46250] Deflagieren von test_parity_listener.
- [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn
spark.sql.legacy.keepCommandOutputSchema
auf WAHR festgelegt ist. - [SPARK-46056] Beheben des vektorisierten Lesens von NPE in Parquet mit dem Standardwert byteArrayDecimalType.
- [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
- [SPARK-46466] Vektorisierter Parquet-Leser sollte niemals ein Rebase für Zeitstempel ntz ausführen.
- Der
- 14. Dezember 2023
- Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
- [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
- [SPARK-44582] Iterator auf SMJ überspringen, wenn er bereinigt wurde.
- [SPARK-45433] Beheben des CSV/JSON-Schemarückschlusses, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen.
- [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - Der Spark-snowflake-Connector wird auf 2.12.0 aktualisiert.
- [SPARK-44846] Komplexe Gruppierungsausdrücke nach
RemoveRedundantAggregates
entfernt. - [SPARK-45544] SSL-Unterstützung in
TransportContext
integriert. - [SPARK-45892] Überprüfung des Optimierungsplans umgestaltet, um
validateSchemaOutput
undvalidateExprIdUniqueness
zu entkoppeln. - [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
- 10. November 2023
- Partitionsfilter für Delta Lake-Streamingabfragen werden unter die Ratenbegrenzung vermindert, um eine bessere Auslastung zu erzielen.
- Datenfeedabfragen in Unity Catalog-Streamingtabellen und materialisierten Sichten geändert, um Fehlermeldungen anzuzeigen.
- [SPARK-45545]
SparkTransportConf
erbtSSLOptions
bei der Erstellung. - [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit
TakeOrderedAndProjectExec
behoben. - [SPARK-45427] RPC-SSL-Einstellungen zu
SSLOptions
undSparkTransportConf
hinzugefügt. - [SPARK-45541]
SSLFactory
hinzugefügt. - [SPARK-45430]
FramelessOffsetWindowFunction
löst beiIGNORE NULLS
undoffset > rowCount
keinen Fehler mehr aus. - [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
- [SPARK-44219] Zusätzliche Überprüfungen pro Regel für Optimierungsumschreibungen hinzugefügt.
- [SPARK-45543] Problem behoben, durch das
InferWindowGroupLimit
einen Fehler verursachte, wenn die anderen Fensterfunktionen nicht über denselben Fensterrahmen wie Funktionen mit demselben Rang verfügten. - Updates der Betriebssystemsicherheit.
- 23. Oktober 2023
- [SPARK-45256] Ein Problem wurde behoben, das dazu führte, dass
DurationWriter
fehlschlug, wenn mehr Werte als die Anfangskapazität geschrieben wurden. - [SPARK-45419] Vermeiden Sie,
rocksdb sst
-Dateien in einer anderenrocksdb
-Instanz wiederzuverwenden, indem Sie den Dateiversionszuordnungseintrag größerer Versionen entfernen. - [SPARK-45426] Unterstützung für
ReloadingX509TrustManager
hinzugefügt. - Verschiedene Korrekturen
- [SPARK-45256] Ein Problem wurde behoben, das dazu führte, dass
- 13. Oktober 2023
- Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
- Die Funktion
array_insert
basiert für positive und Indizes auf 1, während sie für negative Indizes zuvor auf 0 basierte. Es fügt nun ein neues Element am Ende des Eingabe-Arrays für den Index -1 ein. Um das vorherige Verhalten wiederherzustellen, legen Siespark.sql.legacy.negativeIndexInArrayInsert
auftrue
fest. - Ein Fehler wurde behoben, aufgrund dessen beschädigte Dateien nicht ignoriert wurden, wenn
ignoreCorruptFiles
während des CSV-Schemarückschlusses mit Autoloader aktiviert wurde. - Rückgängig gemacht: [SPARK-42946].
- [SPARK-42205] Das JSON-Protokoll aktualisiert, um die Protokollierung von Accumulables in Startereignissen von Aufgaben oder Stages zu entfernen.
- [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für
Trigger.AvailableNow
mit nicht unterstützte Quellen anstelle von Wrappern - [SPARK-45316] Neue Parameter
ignoreCorruptFiles
undignoreMissingFiles
zuHadoopRDD
undNewHadoopRDD
hinzugefügt. - [SPARK-44740] Metadatenwerte für Artefakte korrigiert.
- [SPARK-45360] Konfiguration des Spark-Sitzungsgenerators von
SPARK_REMOTE
initialisiert. - [SPARK-44551] Kommentare, die mit OSS synchronisiert werden sollen, bearbeitet.
- [SPARK-45346] Beim Parquet-Schemarückschluss wird jetzt die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
- [SPARK-44658]
ShuffleStatus.getMapStatus
gibt jetztNone
anstelle vonSome(null)
zurück. - [SPARK-44840] Es wurde festgelegt, dass
array_insert()
für negative Indizes auf 1 basiert.
- 14. September 2023
- [SPARK-44873] Unterstützung für
alter view
mit geschachtelten Spalten im Hive-Client hinzugefügt. - [SPARK-44878] Strenger Grenzwert für
RocksDB
-Schreib-Manager deaktiviert, um die Einfügeausnahme bei vollem Cache zu vermeiden.
- [SPARK-44873] Unterstützung für
- 30. August 2023
- Der Befehl dbutils
cp
(dbutils.fs.cp
) ist jetzt für schnelleres Kopieren optimiert. Mit dieser Verbesserung können Kopiervorgänge je nach Dateigröße bis zu 100-mal weniger Zeit in Anspruch nehmen. Das Feature ist für alle Clouds und Dateisysteme verfügbar, auf die in Databricks zugegriffen werden kann, einschließlich für Unity-Katalogvolumes und DBFS-Bereitstellungen. - [SPARK-44455] Anführungszeichen mit Apostroph im
SHOW CREATE TABLE
-Ergebnis - [SPARK-44763] Ein Problem wurde behoben, bei dem eine Zeichenfolge als Double in binärer Arithmetik mit Intervall angezeigt wurde.
- [SPARK-44871]
percentile_disc
-Verhalten wurde korrigiert. - [SPARK-44714] Erleichterte Einschränkung der LCA-Auflösung in Bezug auf Abfragen.
- [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor
taskThread
initialisiert wird. - [SPARK-44505] Außerkraftsetzung für spaltenbasierte Unterstützung in Überprüfung auf DSv2 hinzugefügt.
- [SPARK-44479] Korrektur der protobuf-Konvertierung von einem leeren struct-Typ.
- [SPARK-44718] Konfigurations-Standardeinstellung für
ColumnVector
anOffHeapMemoryMode
-Konfigurationswert angepasst. - [SPARK-42941] Unterstützung für
StreamingQueryListener
in Python hinzugefügt. - [SPARK-44558] Exportieren der Spark Connect-Protokollstufe von PySpark.
- [SPARK-44464] Korrektur von
applyInPandasWithStatePythonRunner
, sodass Zeilen mit Null als erstem Spaltenwert ausgegeben werden. - [SPARK-44643] Korrektur von
Row.__repr__
, wenn das Feld eine leere Zeile ist. - Updates der Betriebssystemsicherheit.
- Der Befehl dbutils
Databricks Runtime 12.2 LTS
Siehe Databricks Runtime 12.2 LTS.
- 13. Februar 2024
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- [SPARK-46763] Beheben des Assertionsfehlers in ReplaceDeduplicateWithAggregate für doppelte Attribute.
- Updates der Betriebssystemsicherheit.
- 25. Dezember 2023
- Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn
spark.sql.legacy.keepCommandOutputSchema
auf WAHR festgelegt ist. - [SPARK-46417] Keinen Fehler zurückgeben beim Aufrufen von hive.getTable und throwException ist FALSCH.
- [SPARK-43067] Korrigieren des Speicherorts der Fehlerklassen-Ressourcendatei im Kafka-Connector.
- [SPARK-46249] Anforderung einer Instanzsperre für den Abruf von RocksDB-Metriken, um Rennen mit Hintergrundvorgängen zu verhindern.
- [SPARK-46602] Propagieren von
allowExisting
beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist. - [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- [SPARK-46145] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
- [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in
ALSModel.transform
. - [SPARK-42852] Wiederherstellen von NamedLambdaVariable-Änderungen aus EquivalentExpressions.
- 14. Dezember 2023
- Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
- [SPARK-44582] Iterator auf SMJ überspringen, wenn er bereinigt wurde.
- [SPARK-45920] Gruppieren nach Ordnungszahl sollte idempotent sein.
- [SPARK-45655] Zulassen von nicht deterministischen Ausdrücken innerhalb von AggregateFunctions in CollectMetrics.
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in
getColumns
-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden. - [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ
Stage
undTask
entfernt. - [SPARK-44846] Komplexe Gruppierungsausdrücke nach
RemoveRedundantAggregates
entfernt. - [SPARK-43718] NULL-Zulässigkeit für Schlüssel in
USING
-Verknüpfungen korrigiert. - [SPARK-45544] SSL-Unterstützung in
TransportContext
integriert. - [SPARK-43973] Strukturierte Streaming-UI zeigt jetzt fehlerhafte Abfragen ordnungsgemäß an.
- [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
- 14. November 2023
- Partitionsfilter für Delta Lake-Streamingabfragen werden unter die Ratenbegrenzung vermindert, um eine bessere Auslastung zu erzielen.
- [SPARK-45545]
SparkTransportConf
erbtSSLOptions
bei der Erstellung. - [SPARK-45427] RPC-SSL-Einstellungen zu
SSLOptions
undSparkTransportConf
hinzugefügt. - [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit
TakeOrderedAndProjectExec
behoben. - [SPARK-45541]
SSLFactory
hinzugefügt. - [SPARK-45430]
FramelessOffsetWindowFunction
löst beiIGNORE NULLS
undoffset > rowCount
keinen Fehler mehr aus. - [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
- Updates der Betriebssystemsicherheit.
- 24. Oktober 2023
- [SPARK-45426] Unterstützung für
ReloadingX509TrustManager
hinzugefügt. - Verschiedene Korrekturen
- [SPARK-45426] Unterstützung für
- 13. Oktober 2023
- Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
- [SPARK-42553] Sicherstellen von mindestens einer Zeiteinheit nach einem Intervall
- [SPARK-45346] Beim Parquet-Schemarückschluss wird die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
- [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für
Trigger.AvailableNow
mit nicht unterstützte Quellen anstelle von Wrappern - [SPARK-45084]
StateOperatorProgress
zum Verwenden einer genauen, effektiven Shuffle-Partitionsnummer
- 12. September 2023
- [SPARK-44873] Unterstützung für
alter view
mit geschachtelten Spalten im Hive-Client hinzugefügt. - [SPARK-44718] Konfigurations-Standardeinstellung für
ColumnVector
anOffHeapMemoryMode
-Konfigurationswert angepasst. - [SPARK-43799] Binäre Deskriptoroption zur PySpark-
Protobuf
-API hinzugefügt. - Verschiedene Korrekturen
- [SPARK-44873] Unterstützung für
- 30. August 2023
- [SPARK-44485] Optimierung von
TreeNode.generateTreeString
. - [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor
taskThread
initialisiert wird. - [11.3-13.0][[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871)
percentile_disc
-Verhalten wurde korrigiert. - [SPARK-44714] Erleichterte Einschränkung der LCA-Auflösung in Bezug auf Abfragen.
- Updates der Betriebssystemsicherheit.
- [SPARK-44485] Optimierung von
- 15. August 2023
- [SPARK-44504] Wartungsaufgabe bereinigt geladene Anbieter bei Stoppfehler.
- [SPARK-44464] Korrektur von
applyInPandasWithStatePythonRunner
, sodass Zeilen mitNull
als erstem Spaltenwert ausgegeben werden. - Updates der Betriebssystemsicherheit.
- 29. Juli 2023
- Problem behoben, das dazu führte, dass
INVALID_PARAMETER_VALUE.LOCATION_OVERLAP
vondbutils.fs.ls()
beim Aufruf für einen Speicherortpfad zurückgegeben wurde, der mit einem anderen externen oder verwalteten Speicherort in Konflikt stand. - [SPARK-44199]
CacheManager
aktualisiertfileIndex
nicht mehr unnötig. - Updates der Betriebssystemsicherheit.
- Problem behoben, das dazu führte, dass
- 24. Juli 2023
- [SPARK-44337] Problem behoben, aufgrund dessen ein beliebiges auf
Any.getDefaultInstance
festgelegtes Feld Analysefehler verursachte - [SPARK-44136] Problem behoben, das dazu führte, dass
StateManager
in einem Executor und nicht in einem Treiber inFlatMapGroupsWithStateExec
materialisiert wurde - Updates der Betriebssystemsicherheit.
- [SPARK-44337] Problem behoben, aufgrund dessen ein beliebiges auf
- 23. Juni 2023
- Updates der Betriebssystemsicherheit.
- 15. Juni 2023
- Photonisiertes
approx_count_distinct
. - Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
- [SPARK-43779]
ParseToDate
lädt jetztEvalMode
in den Hauptthread. - [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von
decorrelateInnerQuery
erweitert. - Updates der Betriebssystemsicherheit.
- Photonisiertes
- 2. Juni 2023
- Der JSON-Parser im
failOnUnknownFields
-Modus löscht einen Datensatz imDROPMALFORMED
-Modus und schlägt direkt imFAILFAST
-Modus fehl. - Verbesserung der Leistung inkrementeller Updates mit
SHALLOW CLONE
Iceberg und Parquet. - Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
- [SPARK-43404] Überspringen der Wiederverwendung der SST-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um den ID-Übereinstimmungsfehler zu vermeiden
- [SPARK-43413][11.3-13.0]
ListQuery
-NULL-Zulässigkeit derIN
-Unterabfrage korrigiert. - [SPARK-43522] Erstellung des Strukturspaltennamens mit dem Index des Arrays korrigiert.
- [SPARK-43541] Verteilen aller
Project
-Tags beim Auflösen von Ausdrücken und fehlenden Spalten. - [SPARK-43527]
catalog.listCatalogs
in PySpark korrigiert. - [SPARK-43123] Interne Feldmetadaten werden nicht mehr an Kataloge weitergegeben.
- [SPARK-43340] Fehlendes Stapelablaufverfolgungsfeld in Ereignisprotokollen korrigiert.
- [SPARK-42444]
DataFrame.drop
verarbeitet doppelte Spalten jetzt ordnungsgemäß. - [SPARK-42937]
PlanSubqueries
legt jetztInSubqueryExec#shouldBroadcast
auf „true“ fest. - [SPARK-43286] CBC-Modus
aes_encrypt
aktualisiert, um zufällige IVs zu generieren. - [SPARK-43378] Streamobjekte in
deserializeFromChunkedBuffer
ordnungsgemäß schließen.
- Der JSON-Parser im
- 17. Mai 2023
- Parquet-Scans sind jetzt stabil gegen OOMs beim Scannen außergewöhnlich strukturierter Dateien durch dynamische Anpassung der Batchgröße. Dateimetadaten werden analysiert, um die Batchgröße präventiv zu verringern und bei Vorgangsversuchen als endgültiges Sicherheitsnetz erneut zu verringern.
- Wenn eine Avro-Datei nur mit der
failOnUnknownFields\
-Option oder mit Autoloader imfailOnNewColumns\
-Schemaentwicklungsmodus gelesen wurde, wurden Spalten mit unterschiedlichen Datentypen alsnull\
gelesen, anstatt einen Fehler auszulösen, der besagt, dass die Datei nicht gelesen werden kann. Diese Lesevorgänge schlagen jetzt fehl und empfehlen Benutzern, dierescuedDataColumn\
-Option zu verwenden. - Autoloader macht jetzt Folgendes:
-
- Liest jetzt korrekt
Integer
-,Short
undByte
-Typen, sodass keine Wiederherstellung erforderlich ist, wenn einer dieser Datentypen bereitgestellt wird, die AVRO-Datei aber einen der anderen beiden Typen vorschlägt.
- Liest jetzt korrekt
-
- Verhindert das Lesen von Intervalltypen als Datums- oder Zeitstempeltypen, um fehlerhafte Datumsangaben zu vermeiden.
-
- Verhindert das Lesen von
Decimal
-Typen mit geringerer Genauigkeit.
- Verhindert das Lesen von
- [SPARK-43172] Macht den Host und das Token vom Spark Connect-Client verfügbar.
- [SPARK-43293]
__qualified_access_only
wird in normalen Spalten ignoriert. - [SPARK-43098]
COUNT
-Korrektheitsfehler behoben, bei dem skalare Unterabfragen nach Klausel gruppiert wurden. - [SPARK-43085] Unterstützung der
DEFAULT
-Spaltenzuweisung für mehrteilige Tabellennamen. - [SPARK-43190]
ListQuery.childOutput
entspricht jetzt der sekundären Ausgabe. - [SPARK-43192] Zeichensatzüberprüfung des Benutzer-Agents entfernt.
- Updates der Betriebssystemsicherheit.
- 25. April 2023
- Wenn eine Parquet-Datei nur mit der
failOnUnknownFields
-Option oder mit Autoloader imfailOnNewColumns
-Schemaentwicklungsmodus gelesen wurde, wurden Spalten mit unterschiedlichen Datentypen alsnull
gelesen, anstatt einen Fehler auszulösen, der besagt, dass die Datei nicht gelesen werden kann. Diese Lesevorgänge schlagen jetzt fehl und empfehlen Benutzern, dierescuedDataColumn
-Option zu verwenden. - Autoloader liest jetzt korrekt
Integer
-,Short
- undByte
-Typen, sodass keine Wiederherstellung erforderlich ist, wenn einer dieser Datentypen bereitgestellt wird. Die Parquet-Datei schlägt einen der beiden anderen Typen vor. Wenn die Spalte für wiederhergestellte Daten zuvor aktiviert wurde, führte der Datentypkonflikt dazu, dass Spalten wiederhergestellt wurden, obwohl sie lesbar waren. - [SPARK-43009]
sql()
wurde mitAny
-Konstanten parametrisiert. - [SPARK-42406] Beenden der rekursiven Protobuf-Felder durch Löschen des Felds
- [SPARK-43038] Unterstützung für GCM-Modus durch
aes_encrypt()
/aes_decrypt()
- [SPARK-42971]
workdir
ausgeben, wennappDirs
beim Workerhandleereignis „WorkDirCleanup
“ NULL ist - [SPARK-43018] Fehler für INSERT-Befehle mit Zeitstempelliteralen behoben
- Updates der Betriebssystemsicherheit.
- Wenn eine Parquet-Datei nur mit der
- 11. April 2023
- Unterstützung von Legacy-Datenquellenformaten im
SYNC
-Befehl. - Ein Problem beim %autoreload-Verhalten in Notebooks außerhalb eines Repositorys behoben.
- Es wurde ein Problem behoben, bei dem die Autoloader-Schemaentwicklung zu einer endlosen Fehlerschleife führen kann, wenn eine neue Spalte im Schema eines geschachtelten JSON-Objekts erkannt wird.
- [SPARK-42928] Sychronisiert
resolvePersistentFunction
. - [SPARK-42936] Behebt einen LCA-Fehler, wenn die Klausel direkt durch ihr untergeordnetes Aggregat aufgelöst werden kann.
- [SPARK-42967] Behebt
SparkListenerTaskStart.stageAttemptId
, wenn eine Aufgabe gestartet wird, nachdem die Phase abgebrochen wurde. - Updates der Betriebssystemsicherheit.
- Unterstützung von Legacy-Datenquellenformaten im
- 29. März 2023
Databricks SQL unterstützt jetzt das Angeben von Standardwerten für Spalten von Delta Lake-Tabellen, entweder zur Erstellungszeit der Tabelle oder danach. Anschließende
INSERT
-,UPDATE
-,DELETE
- undMERGE
-Befehle können mithilfe des explizitenDEFAULT
-Schlüsselworts auf den Standardwert einer Spalte verweisen. Wenn zusätzlich eineINSERT
-Zuweisung eine explizite Liste mit weniger Spalten als die Zieltabelle aufweist, werden die entsprechenden Spaltenstandardwerte durch die übrigen Spalten ersetzt (oder NULL, wenn kein Standardwert angegeben ist).Beispiel:
CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta; INSERT INTO t VALUES (0, DEFAULT); INSERT INTO t VALUES (1, DEFAULT); SELECT first, second FROM t; \> 0, 2023-03-28 1, 2023-03-28z
Autoloader initiiert jetzt mindestens eine synchrone RocksDB-Protokollbereinigung für
Trigger.AvailableNow
-Streams, um zu überprüfen, ob der Prüfpunkt regelmäßig für schnell ausgeführte Autoloader-Streams bereinigt werden kann. Dadurch können einige Streams mehr Zeit in Anspruch nehmen, bevor sie heruntergefahren werden, aber Sie sparen Speicherkosten und verbessern die Autoloader-Nutzung in zukünftigen Ausführungen.Sie können jetzt eine Delta-Tabelle ändern, um die Unterstützung für Tabellenfeatures hinzuzufügen, indem Sie verwenden
DeltaTable.addFeatureSupport(feature_name)
.[SPARK-42794] Erhöhen von lockAcquireTimeoutMs auf 2 Minuten, um den RocksDB-Zustandsspeicher im strukturierten Streaming abzurufen
[SPARK-42521] NULL-Werte für INSERT-Befehle mit benutzerseitig angegebenen Listen mit weniger Spalten als die Zieltabelle hinzufügen
[SPARK-42702][SPARK-42623] Unterstützung parametrisierter Abfragen in Unterabfragen und CTE
[SPARK-42668] Ausnahmeerfassung beim Versuch, den komprimierten Datenstrom in HDFSStateStoreProvider-Beendigung zu schließen
[SPARK-42403] JsonProtocol sollte JSON-Zeichenfolgen mit NULL verarbeiten.
- 8. März 2023
- Die Fehlermeldung „Fehler beim Initialisieren der Konfiguration“ wurde verbessert, um mehr Kontext für den Kunden bereitzustellen.
- Es gibt eine Terminologieänderung für das Hinzufügen von Funktionen zu einer Delta-Tabelle mithilfe der table-Eigenschaft. Die bevorzugte Syntax ist jetzt
'delta.feature.featureName'='supported'
anstelle von'delta.feature.featureName'='enabled'
. Aus Gründen der Abwärtskompatibilität funktioniert'delta.feature.featureName'='enabled'
weiterhin, und das wird auch so bleiben. - Ab dieser Version ist es möglich, eine Tabelle durch die zusätzliche Tabelleneigenschaft „
delta.ignoreProtocolDefaults
“ zu erstellen/zu ersetzen, um protokollbezogene Spark-Konfigurationen zu ignorieren, die standardmäßige Reader- und Writerversionen sowie standardmäßig unterstützte Tabellenfunktionen enthalten. - [SPARK-42070] Ändern des Standardwerts des Arguments der Mask-Funktion von -1 in NULL
- [SPARK-41793] Falsches Ergebnis für Fensterrahmen, die durch eine Bereichsklausel für signifikante Dezimalstellen definiert sind
- [SPARK-42484] Bessere UnsafeRowUtils-Fehlermeldung
- [SPARK-42516] Beim Erstellen von Ansichten immer die Sitzungszeitzonenkonfiguration erfassen
- [SPARK-42635] Korrigieren des TimestampAdd-Ausdrucks
- [SPARK-42622] Ersetzung in Werten deaktiviert
- [SPARK-42534] Korrigieren der Db2Dialect Limit-Klausel
- [SPARK-42121] Integrierte Tabellenwertfunktionen wie posexplode, posexplode_outer, json_tuple und stack hinzufügen
- [SPARK-42045] ANSI SQL-Modus: Round/Bround sollte einen Fehler beim Integerüberlauf von tiny/small/significant zurückgeben.
- Updates der Betriebssystemsicherheit.
Databricks Runtime 11.3 LTS
Weitere Informationen finden Sie unter Databricks Runtime 11.3 LTS.
- 13. Februar 2024
- [SPARK-46794] Entfernen Sie Unterabfragen aus LogicalRDD-Einschränkungen.
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- Updates der Betriebssystemsicherheit.
- 25. Dezember 2023
- Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- [SPARK-46602] Propagieren von
allowExisting
beim Erstellen der Ansicht, wenn die Ansicht/Tabelle nicht vorhanden ist. - [SPARK-46394] Beheben von Problemen mit spark.catalog.listDatabases() bei Schemas mit Sonderzeichen, wenn
spark.sql.legacy.keepCommandOutputSchema
auf WAHR festgelegt ist. - [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in
ALSModel.transform
. - [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
- [SPARK-46249] Anforderung einer Instanzsperre für den Abruf von RocksDB-Metriken, um Rennen mit Hintergrundvorgängen zu verhindern.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- 14. Dezember 2023
- Es wurde ein Problem behoben, bei dem mit Escapezeichen versehene Unterstriche in getColumns-Vorgängen, die von JDBC- oder ODBC-Clients stammen, falsch behandelt und als Platzhalterzeichen interpretiert wurden.
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - Ein Problem wurde behoben, das dazu führte, dass mit Escapezeichen versehene Unterstriche in
getColumns
-Vorgängen, die von JDBC- oder ODBC-Clients stammen, fälschlicherweise als Platzhalter interpretiert wurden. - [SPARK-43973] Strukturierte Streaming-UI zeigt jetzt fehlerhafte Abfragen ordnungsgemäß an.
- [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - [SPARK-45544] SSL-Unterstützung in
TransportContext
integriert. - [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - [SPARK-43718] NULL-Zulässigkeit für Schlüssel in
USING
-Verknüpfungen korrigiert. - [SPARK-44846] Komplexe Gruppierungsausdrücke nach
RemoveRedundantAggregates
entfernt. - Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
- 14. November 2023
- Partitionsfilter für Delta Lake-Streamingabfragen werden unter die Ratenbegrenzung vermindert, um eine bessere Auslastung zu erzielen.
- [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ „Stage“ und „Task“ entfernt.
- [SPARK-45545]
SparkTransportConf
erbtSSLOptions
bei der Erstellung. - Rückgängig gemacht: [SPARK-33861].
- [SPARK-45541]
SSLFactory
hinzugefügt. - [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
- [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit
TakeOrderedAndProjectExec
behoben. - [SPARK-45430]
FramelessOffsetWindowFunction
löst beiIGNORE NULLS
undoffset > rowCount
keinen Fehler mehr aus. - [SPARK-45427] RPC-SSL-Einstellungen zu
SSLOptions
undSparkTransportConf
hinzugefügt. - Updates der Betriebssystemsicherheit.
- 24. Oktober 2023
- [SPARK-45426] Unterstützung für
ReloadingX509TrustManager
hinzugefügt. - Verschiedene Korrekturen
- [SPARK-45426] Unterstützung für
- 13. Oktober 2023
- Die Abhängigkeit von snowflake-jdbc wurde von Version 3.13.29 auf Version 3.13.33 aktualisiert.
- [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für
Trigger.AvailableNow
mit nicht unterstützte Quellen anstelle von Wrappern - [SPARK-45084]
StateOperatorProgress
zum Verwenden einer genauen, effektiven Shuffle-Partitionsnummer - [SPARK-45346] Beim Parquet-Schemarückschluss wird jetzt die Groß-/Kleinschreibung von Flags während der Zusammenführung des Schemas beachtet.
- Updates der Betriebssystemsicherheit.
- 10. September 2023
- Verschiedene Korrekturen
- 30. August 2023
- [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor
taskThread
initialisiert wird. - [SPARK-44871][11.3-13.0]
percentile_disc
-Verhalten wurde korrigiert. - Updates der Betriebssystemsicherheit.
- [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor
- 15. August 2023
- [SPARK-44485] Optimierung von
TreeNode.generateTreeString
. - [SPARK-44504] Wartungsaufgabe bereinigt geladene Anbieter bei Stoppfehler.
- [SPARK-44464] Korrektur von
applyInPandasWithStatePythonRunner
, sodass Zeilen mitNull
als erstem Spaltenwert ausgegeben werden. - Updates der Betriebssystemsicherheit.
- [SPARK-44485] Optimierung von
- 27. Juli 2023
- Problem behoben, das dazu führte, dass
INVALID_PARAMETER_VALUE.LOCATION_OVERLAP
vondbutils.fs.ls()
beim Aufruf für einen Speicherortpfad zurückgegeben wurde, der mit einem anderen externen oder verwalteten Speicherort in Konflikt stand. - [SPARK-44199]
CacheManager
aktualisiertfileIndex
nicht mehr unnötig. - Updates der Betriebssystemsicherheit.
- Problem behoben, das dazu führte, dass
- 24. Juli 2023
- [SPARK-44136] Ein Problem wurde behoben, das dazu führte, dass StateManager im Executor statt im Treiber in FlatMapGroupsWithStateExec materialisiert werden kann.
- Updates der Betriebssystemsicherheit.
- 23. Juni 2023
- Updates der Betriebssystemsicherheit.
- 15. Juni 2023
- Photonisiertes
approx_count_distinct
. - Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
- [SPARK-43779]
ParseToDate
lädt jetztEvalMode
in den Hauptthread. - [SPARK-40862] Unterstützung nicht aggregierter Unterabfragen in RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von
decorrelateInnerQuery
erweitert. - [SPARK-43098] Korrektur der Richtigkeit von „COUNT bug“, wenn die skalare Unterabfrage eine group by-Klausel aufweist
- Updates der Betriebssystemsicherheit.
- Photonisiertes
- 2. Juni 2023
- Der JSON-Parser im
failOnUnknownFields
-Modus löscht einen Datensatz imDROPMALFORMED
-Modus und schlägt direkt imFAILFAST
-Modus fehl. - Verbesserung der Leistung inkrementeller Updates mit
SHALLOW CLONE
Iceberg und Parquet. - Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
- [SPARK-43404] Überspringen der Wiederverwendung der SST-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um den ID-Übereinstimmungsfehler zu vermeiden
- [SPARK-43527]
catalog.listCatalogs
in PySpark korrigiert. - [SPARK-43413][11.3-13.0]
ListQuery
-NULL-Zulässigkeit derIN
-Unterabfrage korrigiert. - [SPARK-43340] Fehlendes Stapelablaufverfolgungsfeld in Ereignisprotokollen korrigiert.
- Der JSON-Parser im
Databricks Runtime 10.4 LTS
Weitere Informationen finden Sie unter Databricks Runtime 10.4 LTS.
- 13. Februar 2024
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- Updates der Betriebssystemsicherheit.
- 25. Dezember 2023
- Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- [SPARK-46538] Beheben des Problems mit mehrdeutigen Spaltenverweisen in
ALSModel.transform
. - [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- 14. Dezember 2023
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - [SPARK-45544] SSL-Unterstützung in
TransportContext
integriert. - [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - [SPARK-43718] NULL-Zulässigkeit für Schlüssel in
USING
-Verknüpfungen korrigiert. - [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ „Stage“ und „Task“ entfernt.
- [SPARK-44846] Komplexe Gruppierungsausdrücke nach
RemoveRedundantAggregates
entfernt. - Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
- 14. November 2023
- [SPARK-45541]
SSLFactory
hinzugefügt. - [SPARK-45545]
SparkTransportConf
erbtSSLOptions
bei der Erstellung. - [SPARK-45427] RPC-SSL-Einstellungen zu
SSLOptions
undSparkTransportConf
hinzugefügt. - [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
- [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit
TakeOrderedAndProjectExec
behoben. - Rückgängig gemacht: [SPARK-33861].
- Updates der Betriebssystemsicherheit.
- [SPARK-45541]
- 24. Oktober 2023
- [SPARK-45426] Unterstützung für
ReloadingX509TrustManager
hinzugefügt. - Updates der Betriebssystemsicherheit.
- [SPARK-45426] Unterstützung für
- 13. Oktober 2023
- [SPARK-45084]
StateOperatorProgress
zum Verwenden einer genauen, effektiven Shuffle-Partitionsnummer - [SPARK-45178] Fallback zum Ausführen eines einzelnen Batches für
Trigger.AvailableNow
mit nicht unterstützte Quellen anstelle von Wrappern - Updates der Betriebssystemsicherheit.
- [SPARK-45084]
- 10. September 2023
- Verschiedene Korrekturen
- 30. August 2023
- [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor
taskThread
initialisiert wird. - Updates der Betriebssystemsicherheit.
- [SPARK-44818] Race für ausstehende Aufgabenunterbrechung behoben, der ausgegeben wird, bevor
- 15. August 2023
- [SPARK-44504] Wartungsaufgabe bereinigt geladene Anbieter bei Stoppfehler.
- [SPARK-43973] Die Benutzeroberfläche für strukturiertes Streaming zeigt jetzt fehlerhafte Abfragen ordnungsgemäß an.
- Updates der Betriebssystemsicherheit.
- 23. Juni 2023
- Updates der Betriebssystemsicherheit.
- 15. Juni 2023
- Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
- [SPARK-43098] Korrektur der Richtigkeit von „COUNT bug“, wenn die skalare Unterabfrage eine group by-Klausel aufweist
- [SPARK-40862] Unterstützung nicht aggregierter Unterabfragen in RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von
decorrelateInnerQuery
erweitert. - Updates der Betriebssystemsicherheit.
- 2. Juni 2023
- Der JSON-Parser im
failOnUnknownFields
-Modus löscht einen Datensatz imDROPMALFORMED
-Modus und schlägt direkt imFAILFAST
-Modus fehl. - Es wurde ein Problem bei der JSON-Analyse von Daten behoben, um
UnknownFieldException
zu verhindern. - Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
- [SPARK-43404] Überspringen der Wiederverwendung der SST-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um den ID-Übereinstimmungsfehler zu vermeiden
- [SPARK-43413]
ListQuery
-NULL-Zulässigkeit derIN
-Unterabfrage korrigiert. - Updates der Betriebssystemsicherheit.
- Der JSON-Parser im
- 17. Mai 2023
- Parquet-Scans sind jetzt stabil gegen OOMs beim Scannen außergewöhnlich strukturierter Dateien durch dynamische Anpassung der Batchgröße. Dateimetadaten werden analysiert, um die Batchgröße präventiv zu verringern und bei Vorgangsversuchen als endgültiges Sicherheitsnetz erneut zu verringern.
- [SPARK-41520] Aufteilen des
AND_OR
-Strukturmusters, umAND
undOR
zu trennen. - [SPARK-43190]
ListQuery.childOutput
entspricht jetzt der sekundären Ausgabe. - Updates der Betriebssystemsicherheit.
- 25. April 2023
- [SPARK-42928]
resolvePersistentFunction
sychronisieren. - Updates der Betriebssystemsicherheit.
- [SPARK-42928]
- 11. April 2023
- Es wurde ein Problem behoben, bei dem die Autoloader-Schemaentwicklung zu einer endlosen Fehlerschleife führen kann, wenn eine neue Spalte im Schema eines geschachtelten JSON-Objekts erkannt wird.
- [SPARK-42937]
PlanSubqueries
legt jetztInSubqueryExec#shouldBroadcast
auf „true“ fest. - [SPARK-42967] Korrigieren von SparkListenerTaskStart.stageAttemptId, wenn eine Aufgabe gestartet wird, nachdem die Phase abgebrochen wurde.
- 29. März 2023
- [SPARK-42668] Ausnahmeerfassung beim Versuch, den komprimierten Datenstrom in HDFSStateStoreProvider-Beendigung zu schließen
- [SPARK-42635] Fehlerbehebung für...
- Updates der Betriebssystemsicherheit.
- 14. März 2023
- [SPARK-41162] Korrigieren von Antiverknüpfung und halbe Verknüpfung für Selbstverknüpfung mit Aggregationen
- [SPARK-33206] Berechnung der Gewichtung bei gemischten Indexcaches für kleine Indexdateien korrigieren
- [SPARK-42484] Fehlermeldung für
UnsafeRowUtils
verbessert - Verschiedene Korrekturen
- 28. Februar 2023
- Unterstützung generierter Spalte für das date_format „yyyy-MM-dd“. Durch diese Änderung wird die Partitionsbereinigung für „yyyy-MM-dd“ als date_format in generierten Spalten unterstützt.
- Benutzer*innen können jetzt mithilfe von Databricks Runtime 9.1 LTS oder höher bestimmte Delta-Tabellen lesen und schreiben, die Readerversion 3 und Writerversion 7 erfordern. Um erfolgreich zu sein, müssen Tabellenfunktionen, die im Tabellenprotokoll aufgeführt sind, von der aktuellen Version von Databricks Runtime unterstützt werden.
- Unterstützung generierter Spalte für das date_format „yyyy-MM-dd“. Durch diese Änderung wird die Partitionsbereinigung für „yyyy-MM-dd“ als date_format in generierten Spalten unterstützt.
- Updates der Betriebssystemsicherheit.
- 16. Februar 2023
- [SPARK-30220] Aktivieren der Verwendung von Exists/In-Unterabfragen außerhalb des Knotenfilters
- Updates der Betriebssystemsicherheit.
- 31. Januar 2023
- Tabellentypen von JDBC-Tabellen sind jetzt standardmäßig EXTERNAL.
- 18. Januar 2023
- Azure Synapse-Connector gibt jetzt eine aussagekräftigere Fehlermeldung zurück, wenn ein Spaltenname ungültige Zeichen wie Leerzeichen oder Semikolons enthält. In solchen Fällen wird die folgende Meldung zurückgegeben:
Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
. - [SPARK-38277] Löschen des Schreibbatches nach dem Commit des RocksDB-Zustandsspeichers
- [SPARK-41199] Beheben des Metrikproblems, wenn DSv1- und DSv2-Streamingquelle gemeinsam verwendet werden
- [SPARK-41198] Korrektur von Metriken in Streamingabfragen mit CTE- und DSv1-Streamingquelle.
- [SPARK-41339] Schließen und Neuerstellen des RocksDB-Schreibbatches (anstatt nur Löschen).
- [SPARK-41732] Anwenden der baumstrukturbasierten Bereinigung für die Regel „SessionWindowing“.
- Updates der Betriebssystemsicherheit.
- Azure Synapse-Connector gibt jetzt eine aussagekräftigere Fehlermeldung zurück, wenn ein Spaltenname ungültige Zeichen wie Leerzeichen oder Semikolons enthält. In solchen Fällen wird die folgende Meldung zurückgegeben:
- 29. November 29 2022
- Benutzer können das Verhalten führender und nachgestellter Leerzeichen beim Schreiben von Daten mithilfe des Redshift-Connectors konfigurieren. Die folgenden Optionen wurden hinzugefügt, um die Verarbeitung von Leerzeichen zu steuern:
- Wenn
csvignoreleadingwhitespace
auftrue
festgelegt ist, entfernt dies führende Leerzeichen von Werten während Schreibvorgängen, wenntempformat
aufCSV
oderCSV GZIP
festgelegt ist. Leerzeichen werden beibehalten, wenn die Konfiguration auffalse
festgelegt ist. Standardmäßig lautet der Werttrue
. - Wenn
csvignoretrailingwhitespace
auftrue
festgelegt ist, entfernt dies nachgestellte Leerzeichen von Werten während Schreibvorgängen, wenntempformat
aufCSV
oderCSV GZIP
festgelegt ist. Leerzeichen werden beibehalten, wenn die Konfiguration auffalse
festgelegt ist. Standardmäßig lautet der Werttrue
.
- Wenn
- Ein Problem bei der JSON-Analyse im Autoloader wurde behoben, wenn alle Spalten als Zeichenfolgen belassen wurden (
cloudFiles.inferColumnTypes
nicht festgelegt oder auffalse
festgelegt) und der JSON-Code geschachtelte Objekte enthielt. - Updates der Betriebssystemsicherheit.
- Benutzer können das Verhalten führender und nachgestellter Leerzeichen beim Schreiben von Daten mithilfe des Redshift-Connectors konfigurieren. Die folgenden Optionen wurden hinzugefügt, um die Verarbeitung von Leerzeichen zu steuern:
- 15. November 2022
- Apache commons-text wurde auf 1.10.0 aktualisiert.
- [SPARK-40646] Probleme bei der JSON-Analyse für Strukturen, Zuordnungen und Arrays wurden behoben. Wenn also ein Teil eines Datensatzes nicht mit dem Schema übereinstimmt, kann der Rest des Datensatzes weiterhin ordnungsgemäß geparst werden, anstatt dass NULL-Werte zurückgeben werden. Um das verbesserte Verhalten zu nutzen, legen Sie
spark.sql.json.enablePartialResults
auftrue
fest. Das Flag ist standardmäßig deaktiviert, um das ursprüngliche Verhalten beizubehalten. - [SPARK-40292] Korrigieren von Spaltennamen in der
arrays_zip
-Funktion, wenn aus geschachtelten Strukturen auf Arrays verwiesen wird - Updates der Betriebssystemsicherheit.
- 1. November 2022
- Ein Problem wurde behoben, das zu Folgendem führte: Wenn eine Delta-Tabelle eine benutzerdefinierte Spalte mit dem Namen
_change_type
enthielt, aber Datenfeed ändern für diese Tabelle deaktiviert war, wurden die Daten in dieser Spalte bei Ausführung vonMERGE
fälschlicherweise mit NULL-Werten gefüllt. - Es wurde ein Problem mit dem Autoloader behoben, bei dem eine Datei in demselben Mikrobatch dupliziert werden konnte, wenn
allowOverwrites
aktiviert war - [SPARK-40697] Ein schreibseitiger Zeichenabstand zum Abdecken externer Datendateien wurde hinzugefügt.
- [SPARK-40596] Füllt ExecutorDecommission mit Nachrichten in ExecutorDecommissionInfo auf.
- Updates der Betriebssystemsicherheit.
- Ein Problem wurde behoben, das zu Folgendem führte: Wenn eine Delta-Tabelle eine benutzerdefinierte Spalte mit dem Namen
- 18. Oktober 2022
- Updates der Betriebssystemsicherheit.
- 5. Oktober 2022
- [SPARK-40468] Beheben der Spaltenbereinigung in CSV, wenn
_corrupt_record
ausgewählt ist. - Updates der Betriebssystemsicherheit.
- [SPARK-40468] Beheben der Spaltenbereinigung in CSV, wenn
- 22. September 2022
- Benutzer*innen können „spark.conf.set(
spark.databricks.io.listKeysWithPrefix.azure.enabled
,true
)“ festlegen, um die integrierte Auflistung für Autoloader in ADLS Gen2 erneut zu aktivieren. Die integrierte Auflistung wurde zuvor aufgrund von Leistungsproblemen deaktiviert, kann aber zu höheren Speicherkosten für Kunden geführt haben. - [SPARK-40315] Hinzufügen von hashCode() für Literal von ArrayBasedMapData
- [SPARK-40213] Unterstützung der ASCII-Wertkonvertierung für Latin-1-Zeichen
- [SPARK-40380] Korrektur der Konstantenfaltung von InvokeLike, um in den Plan eingebettete nicht serialisierbare Literale zu vermeiden
- [SPARK-38404] Verbessern der CTE-Auflösung, wenn ein geschachtelter CTE auf einen äußeren CTE verweist
- [SPARK-40089] Korrektur der Sortierung für einige Dezimaltypen
- [SPARK-39887] RemoveRedundantAliases sollte Aliase beibehalten, die die Ausgabe von Projektionsknoten eindeutig machen
- Benutzer*innen können „spark.conf.set(
- 6. September 2022
- [SPARK-40235] Verwenden einer unterbrechbaren Sperre anstelle einer synchronisierten in Executor.updateDependencies().
- [SPARK-40218] GROUPING SETS muss die Gruppierungsspalten beibehalten.
- [SPARK-39976] ArrayIntersect muss NULL-Werte im linken Ausdruck ordnungsgemäß behandeln.
- [SPARK-40053] Hinzufügen von
assume
für Fälle mit dynamischem Abbruch, welche die Python-Runtimeumgebung benötigen. - [SPARK-35542] Korrektur: Bucketizer, der für mehrere Spalten mit den Parametern „splitsArray“, „inputCols“ und „outputCols“ erstellt wurde, kann nach dem Speichern nicht geladen werden.
- [SPARK-40079] Imputer-inputCols-Validierung für leeren Eingabefall hinzugefügt.
- 24. August 2022
- [SPARK-39983] Keine Zwischenspeicherung von nicht serialisierten Übertragungsbeziehungen auf dem Treiber.
- [SPARK-39775] Deaktivieren validierter Standardwerte beim Analysieren von Avro-Schemas.
- [SPARK-39962] Projektion anwenden, wenn Gruppenattribute leer sind
- [SPARK-37643] Wenn charVarcharAsString WAHR ist, sollte die Abfrage für das Datentypprädikat char die rpadding-Regel überspringen.
- Updates der Betriebssystemsicherheit.
- 9. August 2022
- [SPARK-39847] Beheben einer Racebedingung in RocksDBLoader.loadLibrary(), wenn der Thread des Aufrufers unterbrochen wird
- [SPARK-39731] Beheben eines Problems in CSV- und JSON-Datenquellen beim Analysieren von Daten im Format „jjjjMMtt“ mit der CORRECTED-Zeitparserrichtlinie
- Updates der Betriebssystemsicherheit.
- 27. Juli 2022
- [SPARK-39625] Hinzufügen von Dataset.as(StructType).
- [SPARK-39689] Unterstützung von 2-Zeichen-
lineSep
in CSV-Datenquelle. - [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded sollte threadsicher sein.
- [SPARK-39570] Inline-Tabelle sollte Ausdrücke mit Alias zulassen.
- [SPARK-39702] Verringern des Arbeitsspeicheroverheads von TransportCipher$EncryptedMessage mithilfe eines freigegebenen byteRawChannel.
- [SPARK-39575] Hinzufügen von ByteBuffer#rewind nach ByteBuffer#get in AvroDeserializer.
- [SPARK-39476] Deaktivieren der Aufhebung des Umbruchs der Umwandlungsoptimierung beim Umwandeln von Long zu Float/Double oder von Integer zu Float.
- [SPARK-38868] Ausnahmen von Filterprädikaten beim Optimieren äußerer Verknüpfungen nicht propagieren.
- Updates der Betriebssystemsicherheit.
- 20. Juli 2022
- Machen Sie die Ergebnisse von Deltazusammenführungsvorgängen (MERGE) konsistent, wenn die Quelle nicht deterministisch ist.
- [SPARK-39355] Einzelne Spalte verwendet Anführungszeichen zum Konstruieren von UnresolvedAttribute.
- [SPARK-39548] Beim CreateView-Befehl mit einer Fensterklauselabfrage führt zu einem falschen Problem „Fensterdefinition nicht gefunden“.
- [SPARK-39419] Beheben von ArraySort, um eine Ausnahme auszulösen, wenn der Vergleichsoperator NULL zurückgibt.
- Die Verwendung integrierter Cloud-APIs durch Autoloader für die Verzeichnisauflistung in Azure wurde deaktiviert.
- Updates der Betriebssystemsicherheit.
- 5. Juli 2022
- [SPARK-39376] Ausblenden doppelter Spalten in der Sternerweiterung des Unterabfragealias von NATURAL/USING JOIN
- Updates der Betriebssystemsicherheit.
- 15. Juni 2022
- [SPARK-39283] Beheben des Deadlock zwischen TaskMemoryManager und UnsafeExternalSorter.SpillableIterator.
- [SPARK-39285] Spark sollte beim Lesen von Dateien keine Feldnamen überprüfen.
- [SPARK-34096] Leistungsverbesserung für Fenster „nth_value: IGNORE NULLS über OFFSET“.
- [SPARK-36718] Beheben der
isExtractOnly
-Überprüfung in CollapseProject.
- 2. Juni 2022
- [SPARK-39093] Codegen-Kompilierungsfehler beim Aufteilen von Jahr-Monat- oder Tag-Uhrzeit-Intervallen durch ein Integral vermeiden.
- [SPARK-38990] NullPointerException beim Auswerten des date_trunc/trunc-Formats als gebundener Verweis vermeiden.
- Updates der Betriebssystemsicherheit.
- 18. Mai 2022
- Behebt einen potenziellen Arbeitsspeicherverlust im Autoloader.
- [SPARK-38918] Bei der Bereinigung geschachtelter Spalten sollten Attribute herausgefiltert werden, die nicht zur aktuellen Beziehung gehören.
- [SPARK-37593] Standardseitengröße um LONG_ARRAY_OFFSET reduzieren, wenn G1GC und ON_HEAP verwendet werden.
- [SPARK-39084] Beheben von df.rdd.isEmpty() mithilfe von TaskContext zum Beenden des Iterators beim Abschluss der Aufgabe.
- [SPARK-32268] Hinzufügen von ColumnPruning in injectBloomFilter.
- [SPARK-38974] Filtern registrierter Funktionen mit einem bestimmten Datenbanknamen in LIST-Funktionen.
- [SPARK-38931] Erstellen eines Stamm-DFS-Verzeichnisses für RocksDBFileManager mit einer unbekannten Anzahl von Schlüsseln am 1. Prüfpunkt.
- Updates der Betriebssystemsicherheit.
- 19. April 2022
- Java AWS SDK von Version 1.11.655 auf 1.12.1899 aktualisiert.
- Es wurde ein Problem mit Notebookbibliotheken behoben, die in Batchstreamingaufträgen nicht funktionierten.
- [SPARK-38616] SQL-Abfragetext in Catalyst TreeNode nachverfolgen
- Updates der Betriebssystemsicherheit.
- 6. April 2022
- Die folgenden Spark SQL-Funktionen sind in diesem Release verfügbar:
timestampadd()
unddateadd()
: Zeitdauer in einer angegebenen Einheit zu einem Zeitstempelausdruck hinzufügentimestampdiff()
unddatediff()
: Zeitunterschied zwischen zwei Zeitstempelausdrücken in einer angegebenen Einheit berechnen
- Parquet-MR auf 1.12.2 aktualisiert
- Unterstützung für umfassende Schemas in Parquet-Dateien verbessert
- [SPARK-38631] Verwendet Java-basierte Implementierung zum Entpacken bei Utils.unpack.
- [SPARK-38509][SPARK-38481] Cherrypicking für drei
timestmapadd/diff
-Änderungen - [SPARK-38523] Beheben des Verweises auf beschädigte Datensatzspalte in CSV.
- [SPARK-38237]
ClusteredDistribution
erlauben, vollständige Clusteringschlüssel zu erfordern. - [SPARK-38437] Milde Serialisierung von datetime-Werten aus der Datenquelle.
- [SPARK-38180] Zulassen sicherer Umwandlungsausdrücke in korrelierten Gleichheitsprädikaten.
- [SPARK-38155] Verbieten eindeutiger Aggregate in lateralen Unterabfragen mit nicht unterstützten Prädikaten.
- Updates der Betriebssystemsicherheit.
- Die folgenden Spark SQL-Funktionen sind in diesem Release verfügbar:
Databricks Runtime 9.1 LTS
Siehe Databricks Runtime 9.1 LTS.
- 13. Februar 2024
- [SPARK-46861] Vermeiden Sie Deadlock in DAGScheduler.
- Updates der Betriebssystemsicherheit.
- 31. Januar 2024
- Updates der Betriebssystemsicherheit.
- 25. Dezember 2023
- Um eine erhöhte Wartezeit bei der Kommunikation über TLSv1.3 zu vermeiden, enthält dieser Wartungsrelease einen Patch für die JDK 8-Installation, um den JDK-Fehler JDK-8293562 zu beheben.
- [SPARK-46058] Hinzufügen eines separaten Flags für privateKeyPassword.
- [SPARK-39440] Hinzufügen einer Konfiguration, um die Ereigniszeitachse zu deaktivieren.
- [SPARK-46132] Unterstützung für Schlüsselkennwort für JKS-Schlüssel für RPC-SSL.
- 14. Dezember 2023
- Updates der Betriebssystemsicherheit.
- 29. November 2023
- Installiert ein neues Paket
pyarrow-hotfix
, um eine PyArrow RCE-Sicherheitsanfälligkeit zu beheben. - [SPARK-45859] UDF-Objekte in
ml.functions
wurden als verzögert festgelegt. - [SPARK-45544] SSL-Unterstützung in
TransportContext
integriert. - [SPARK-45730] Zeiteinschränkungen für
ReloadingX509TrustManagerSuite
verbessert. - Updates der Betriebssystemsicherheit.
- Installiert ein neues Paket
- 14. November 2023
- [SPARK-45545]
SparkTransportConf
erbtSSLOptions
bei der Erstellung. - [SPARK-45429] Hilfsklassen für die SSL-RPC-Kommunikation hinzugefügt.
- [SPARK-45427] RPC-SSL-Einstellungen zu
SSLOptions
undSparkTransportConf
hinzugefügt. - [SPARK-45584] Fehler beim Ausführen von Unterabfragen mit
TakeOrderedAndProjectExec
behoben. - [SPARK-45541]
SSLFactory
hinzugefügt. - [SPARK-42205] Protokollierung von Accumulables in Startereignissen vom Typ „Stage“ und „Task“ entfernt.
- Updates der Betriebssystemsicherheit.
- [SPARK-45545]
- 24. Oktober 2023
- [SPARK-45426] Unterstützung für
ReloadingX509TrustManager
hinzugefügt. - Updates der Betriebssystemsicherheit.
- [SPARK-45426] Unterstützung für
- 13. Oktober 2023
- Updates der Betriebssystemsicherheit.
- 10. September 2023
- Verschiedene Korrekturen
- 30. August 2023
- Updates der Betriebssystemsicherheit.
- 15. August 2023
- Updates der Betriebssystemsicherheit.
- 23. Juni 2023
- Für die Snowflake-JDBC-Bibliothek wird ein Upgrade auf 3.13.29 durchgeführt, um ein Sicherheitsproblem zu beheben.
- Updates der Betriebssystemsicherheit.
- 15. Juni 2023
- [SPARK-43098] Beheben der Richtigkeit des COUNT-Fehlers, wenn die skalare Unterabfrage eine „gruppieren nach“-Klausel aufweist.
- [SPARK-43156][SPARK-43098] Skalare Unterabfrage zum Testen der Fehleranzahl mit Deaktivierung von
decorrelateInnerQuery
erweitern - [SPARK-40862] Unterstützung nicht aggregierter Unterabfragen in RewriteCorrelatedScalarSubquery.
- Updates der Betriebssystemsicherheit.
- 2. Juni 2023
- Der JSON-Parser im
failOnUnknownFields
-Modus löscht einen Datensatz imDROPMALFORMED
-Modus und schlägt direkt imFAILFAST
-Modus fehl. - Es wurde ein Problem bei der JSON-Analyse von Daten behoben, um
UnknownFieldException
zu verhindern. - Es wurde ein Problem im Autoloader behoben, bei dem verschiedene Quelldateiformate inkonsistent waren, wenn das bereitgestellte Schema keine abgeleiteten Partitionen enthielt. Dieses Problem kann beim Lesen von Dateien mit fehlenden Spalten im abgeleiteten Partitionsschema zu unerwarteten Fehlern führen.
- [SPARK-37520] Hinzufügen der Zeichenfolgenfunktionen
startswith()
undendswith()
- [SPARK-43413]
ListQuery
-NULL-Zulässigkeit derIN
-Unterabfrage korrigiert. - Updates der Betriebssystemsicherheit.
- Der JSON-Parser im
- 17. Mai 2023
- Updates der Betriebssystemsicherheit.
- 25. April 2023
- Updates der Betriebssystemsicherheit.
- 11. April 2023
- Es wurde ein Problem behoben, bei dem die Autoloader-Schemaentwicklung zu einer endlosen Fehlerschleife führen kann, wenn eine neue Spalte im Schema eines geschachtelten JSON-Objekts erkannt wird.
- [SPARK-42967] Korrigieren von SparkListenerTaskStart.stageAttemptId, wenn eine Aufgabe gestartet wird, nachdem die Phase abgebrochen wurde.
- 29. März 2023
- Updates der Betriebssystemsicherheit.
- 14. März 2023
- [SPARK-42484] Fehlermeldung für
UnsafeRowUtils
verbessert - Verschiedene Korrekturen
- [SPARK-42484] Fehlermeldung für
- 28. Februar 2023
- Benutzer*innen können jetzt mithilfe von Databricks Runtime 9.1 LTS oder höher bestimmte Delta-Tabellen lesen und schreiben, die Readerversion 3 und Writerversion 7 erfordern. Um erfolgreich zu sein, müssen Tabellenfunktionen, die im Tabellenprotokoll aufgeführt sind, von der aktuellen Version von Databricks Runtime unterstützt werden.
- Updates der Betriebssystemsicherheit.
- 16. Februar 2023
- Updates der Betriebssystemsicherheit.
- 31. Januar 2023
- Tabellentypen von JDBC-Tabellen sind jetzt standardmäßig EXTERNAL.
- 18. Januar 2023
- Updates der Betriebssystemsicherheit.
- 29. November 29 2022
- Ein Problem bei der JSON-Analyse im Autoloader wurde behoben, wenn alle Spalten als Zeichenfolgen belassen wurden (
cloudFiles.inferColumnTypes
nicht festgelegt oder auffalse
festgelegt) und der JSON-Code geschachtelte Objekte enthielt. - Updates der Betriebssystemsicherheit.
- Ein Problem bei der JSON-Analyse im Autoloader wurde behoben, wenn alle Spalten als Zeichenfolgen belassen wurden (
- 15. November 2022
- Apache commons-text wurde auf 1.10.0 aktualisiert.
- Updates der Betriebssystemsicherheit.
- Verschiedene Korrekturen
- 1. November 2022
- Ein Problem wurde behoben, das zu Folgendem führte: Wenn eine Delta-Tabelle eine benutzerdefinierte Spalte mit dem Namen
_change_type
enthielt, aber Datenfeed ändern für diese Tabelle deaktiviert war, wurden die Daten in dieser Spalte bei Ausführung vonMERGE
fälschlicherweise mit NULL-Werten gefüllt. - Es wurde ein Problem mit dem Autoloader behoben, bei dem eine Datei in demselben Mikrobatch dupliziert werden konnte, wenn
allowOverwrites
aktiviert war - [SPARK-40596] Füllt ExecutorDecommission mit Nachrichten in ExecutorDecommissionInfo auf.
- Updates der Betriebssystemsicherheit.
- Ein Problem wurde behoben, das zu Folgendem führte: Wenn eine Delta-Tabelle eine benutzerdefinierte Spalte mit dem Namen
- 18. Oktober 2022
- Updates der Betriebssystemsicherheit.
- 5. Oktober 2022
- Verschiedene Korrekturen
- Updates der Betriebssystemsicherheit.
- 22. September 2022
- Benutzer*innen können „spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true")“ festlegen, um die integrierte Auflistung Listing für Autoloader in ADLS Gen2 erneut zu aktivieren. Die integrierte Auflistung wurde zuvor aufgrund von Leistungsproblemen deaktiviert, kann aber zu höheren Speicherkosten für Kunden geführt haben.
- [SPARK-40315] Hinzufügen von hashCode() für Literal von ArrayBasedMapData
- [SPARK-40089] Korrektur der Sortierung für einige Dezimaltypen
- [SPARK-39887] RemoveRedundantAliases sollte Aliase beibehalten, die die Ausgabe von Projektionsknoten eindeutig machen
- 6. September 2022
- [SPARK-40235] Verwenden einer unterbrechbaren Sperre anstelle einer synchronisierten in Executor.updateDependencies()
- [SPARK-35542] Korrektur: Bucketizer, der für mehrere Spalten mit den Parametern „splitsArray“, „inputCols“ und „outputCols“ erstellt wurde, kann nach dem Speichern nicht geladen werden.
- [SPARK-40079] Imputer-inputCols-Überprüfung für leeren Eingabefall hinzugefügt
- 24. August 2022
- [SPARK-39666] Verwenden Sie UnsafeProjection.create, um
spark.sql.codegen.factoryMode
in ExpressionEncoder zu berücksichtigen - [SPARK-39962] Projektion anwenden, wenn Gruppenattribute leer sind
- Updates der Betriebssystemsicherheit.
- [SPARK-39666] Verwenden Sie UnsafeProjection.create, um
- 9. August 2022
- Updates der Betriebssystemsicherheit.
- 27. Juli 2022
- Machen Sie die Ergebnisse von Deltazusammenführungsvorgängen (MERGE) konsistent, wenn die Quelle nicht deterministisch ist.
- [SPARK-39689] Unterstützung für
lineSep
mit zwei Zeichen in CSV-Datenquelle - [SPARK-39575]
ByteBuffer#rewind
nachByteBuffer#get
inAvroDeserializer
hinzugefügt. - [SPARK-37392] Der Leistungsfehler für Catalyst-Optimierer wurde behoben.
- Updates der Betriebssystemsicherheit.
- 13. Juli 2022
- [SPARK-39419]
ArraySort
löst nun eine Ausnahme aus, wenn der Vergleichsoperator NULL zurückgibt. - Die Verwendung integrierter Cloud-APIs durch Autoloader für die Verzeichnisauflistung in Azure wurde deaktiviert.
- Updates der Betriebssystemsicherheit.
- [SPARK-39419]
- 5. Juli 2022
- Updates der Betriebssystemsicherheit.
- Verschiedene Korrekturen
- 15. Juni 2022
- [SPARK-39283] Beheben eines Deadlocks zwischen
TaskMemoryManager
undUnsafeExternalSorter.SpillableIterator
- [SPARK-39283] Beheben eines Deadlocks zwischen
- 2. Juni 2022
- [SPARK-34554] Implementieren der
copy()
-Methode inColumnarMap
. - Updates der Betriebssystemsicherheit.
- [SPARK-34554] Implementieren der
- 18. Mai 2022
- Potenzieller Arbeitsspeicherverlust im Autoloader korrigiert.
- Upgrade der AWS SDK-Version von 1.11.655 auf 1.11.678.
- [SPARK-38918] Bei der Bereinigung geschachtelter Spalten sollten Attribute herausgefiltert werden, die nicht zur aktuellen Beziehung gehören.
- [SPARK-39084]
df.rdd.isEmpty()
mithilfe vonTaskContext
zum Beenden des Iterators für den Vorgangsabschluss korrigiert - Updates der Betriebssystemsicherheit.
- 19. April 2022
- Updates der Betriebssystemsicherheit.
- Verschiedene Korrekturen
- 6. April 2022
- [SPARK-38631] Verwendet Java-basierte Implementierung zum Entpacken bei Utils.unpack.
- Updates der Betriebssystemsicherheit.
- 22. März 2022
- Auf Clustern mit hoher Parallelität, bei denen entweder die Zugriffssteuerung für Tabellen oder der Passthrough für Anmeldeinformationen aktiviert ist, entspricht das aktuelle Arbeitsverzeichnis der Notebooks jetzt dem Basisverzeichnis der Benutzer*innen. Zuvor war das aktive Verzeichnis
/databricks/driver
. - [SPARK-38437] Vorsichtige Serialisierung von datetime-Werten in der Datenquelle
- [SPARK-38180] Sichere Umwandlungsausdrücke in korrelierten Gleichheitsprädikaten zulassen
- [SPARK-38155] Verschiedene Aggregate in lateralen Unterabfragen mit nicht unterstützten Prädikaten verbieten
- [SPARK-27442] Prüffeld beim Lesen oder Schreiben von Daten in einer Parquet-Datei entfernt.
- Auf Clustern mit hoher Parallelität, bei denen entweder die Zugriffssteuerung für Tabellen oder der Passthrough für Anmeldeinformationen aktiviert ist, entspricht das aktuelle Arbeitsverzeichnis der Notebooks jetzt dem Basisverzeichnis der Benutzer*innen. Zuvor war das aktive Verzeichnis
- 14. März 2022
- [SPARK-38236] Absolute Dateipfade, die in „Tabelle erstellen/ändern“ angegeben sind, werden als relativ behandelt.
- [SPARK-34069] Auftragsthread unterbrechen, wenn die lokale Eigenschaft
SPARK_JOB_INTERRUPT_ON_CANCEL
auf „true“ festgelegt ist.
- 23. Februar 2022
- [SPARK-37859] SQL-Tabellen, die mit JDBC mit Spark 3.1 erstellt wurden, können nicht mit 3.2 gelesen werden.
- 8. Februar 2022
- [SPARK-27442] Prüffeld beim Lesen oder Schreiben von Daten in einer Parquet-Datei entfernt.
- Updates der Betriebssystemsicherheit.
- 1. Februar 2022
- Updates der Betriebssystemsicherheit.
- 26. Januar 2022
- Ein Problem wurde behoben, bei dem gleichzeitige Transaktionen für Delta-Tabellen unter bestimmten seltenen Bedingungen in einer nicht serialisierbaren Reihenfolge committet werden konnten.
- Ein Problem wurde behoben, bei dem der
OPTIMIZE
-Befehl u. U. fehlschlug, wenn der ANSI-SQL-Dialekt aktiviert war.
- 19. Januar 2022
- Kleinere Fehlerbehebungen und Sicherheitsverbesserungen.
- Updates der Betriebssystemsicherheit.
- 4. November 2021
- Ein Problem wurde behoben, das dazu führen konnte, dass Structured Streaming-Streams mit
ArrayIndexOutOfBoundsException
fehlschlagen. - Es wurde eine Race-Condition behoben, die zu einem Abfragefehler mit einer IOException wie
java.io.IOException: No FileSystem for scheme
oder die führen konnte, oder die dazu führen konnte, dass Änderungen insparkContext.hadoopConfiguration
in Abfragen nicht wirksam wurden. - Der Apache Spark Connector für die Deltafreigabe wurde auf 0.2.0 aktualisiert.
- Ein Problem wurde behoben, das dazu führen konnte, dass Structured Streaming-Streams mit
- 20. Oktober 2021
- BigQuery-Connector von 0.18.1 auf 0.22.2 aktualisiert. Dadurch wird Unterstützung für den BigNumeric-Typ hinzugefügt.