Aggiornamenti di manutenzione di Databricks Runtime
Questo articolo elenca gli aggiornamenti di manutenzione per le versioni supportate di Databricks Runtime. Per aggiungere un aggiornamento di manutenzione a un cluster esistente, riavviare il cluster. Per gli aggiornamenti di manutenzione nelle versioni di Databricks Runtime non supportate, vedere Aggiornamenti di manutenzione per Databricks Runtime (archiviato).
Nota
Le versioni vengono gestite in staging. L'account Azure Databricks potrebbe non essere aggiornato per alcuni giorni dopo la data di rilascio iniziale.
Versioni di Databricks Runtime
Aggiornamenti della manutenzione in base al rilascio:
- Databricks Runtime 15.0
- Databricks Runtime 14.3
- Databricks Runtime 14.2
- Databricks Runtime 14.1
- Databricks Runtime 13.3 LTS
- Databricks Runtime 12.2 LTS
- Databricks Runtime 11.3 LTS
- Databricks Runtime 10.4 LTS
- Databricks Runtime 9.1 LTS
Databricks Runtime 15.0
Vedere Databricks Runtime 15.0.
- 3 aprile 2024
- (Modifica del comportamento) Per garantire un comportamento coerente tra i tipi di calcolo, le funzioni definite dall'utente PySpark nei cluster condivisi corrispondono ora al comportamento delle funzioni definite dall'utente in cluster senza isolamento e assegnati. Questo aggiornamento include le modifiche seguenti che potrebbero interrompere il codice esistente:
- Le funzioni definite dall'utente con un
string
tipo restituito non convertnostring
più in modo implicito i valori non instring
valori. In precedenza, le funzioni definite dall'utente con un tipo restituito distr
avrebbero eseguito il wrapping del valore restituito con unastr()
funzione indipendentemente dal tipo di dati effettivo del valore restituito. - Le funzioni definite dall'utente con
timestamp
tipi restituiti non applicano più in modo implicito una conversione atimestamp
contimezone
. - Le configurazioni
spark.databricks.sql.externalUDF.*
del cluster Spark non si applicano più alle funzioni definite dall'utente pySpark nei cluster condivisi. - La configurazione
spark.databricks.safespark.externalUDF.plan.limit
del cluster Spark non influisce più sulle funzioni definite dall'utente pySpark, rimuovendo la limitazione dell'anteprima pubblica di 5 funzioni definite dall'utente per ogni query per le funzioni definite dall'utente pySpark. - La configurazione
spark.databricks.safespark.sandbox.size.default.mib
del cluster Spark non si applica più alle funzioni definite dall'utente PySpark nei cluster condivisi. Viene invece usata la memoria disponibile nel sistema. Per limitare la memoria delle funzioni definite dall'utente di PySpark, usarespark.databricks.pyspark.udf.isolation.memoryLimit
con un valore minimo di100m
.
- Le funzioni definite dall'utente con un
- Il
TimestampNTZ
tipo di dati è ora supportato come colonna di clustering con clustering liquido. Vedere Usare il clustering liquido per le tabelle Delta. - [SPARK-47218][SQL] XML: ignorare i tag di riga commentati nel tokenizer XML
- [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
- [SPARK-47033][SQL] Correzione di EXECUTE IMMEDIATE USING non riconosce i nomi delle variabili di sessione
- [SPARK-47368][SQL] Rimuovere il controllo di configurazione inferTimestampNTZ in ParquetRowConverter
- [SPARK-47561][SQL] Risolvere i problemi relativi all'ordine delle regole dell'analizzatore relativi all'alias
- [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
- [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Aggiungere un controllo per la modifica dell'operatore con stato per lo streaming
- [SPARK-47569][SQL] Non consentire il confronto tra varianti.
- [SPARK-47241][SQL] Risolvere i problemi relativi all'ordine delle regole per ExtractGenerator
- [SPARK-47218] [SQL] XML: Modifica di SchemaOfXml in modo che non riesca in modalità DROPMALFORMED
- [SPARK-47300][SQL]
quoteIfNeeded
l'identificatore di virgolette deve iniziare con le cifre - [SPARK-47009][SQL] [Regole di confronto] Abilitare il supporto per la creazione di tabelle per le regole di confronto
- [SPARK-47322][PYTHON] [CONNECT] Rendere coerente la
withColumnsRenamed
gestione della duplicazione dei nomi di colonna conwithColumnRenamed
- [SPARK-47544][PYTHON] Il metodo del generatore SparkSession non è compatibile con IntelliSense per visual Studio Code
- [SPARK-47511][SQL] Canonicalize With expressions by re-assigning IDs
- [SPARK-47385] Correggere i codificatori di tupla con input di opzione.
- [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch Foreach
- [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
- [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
- [SPARK-47305][SQL] Correzione di PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano ha sia batch che streaming
- [SPARK-47380][CONNECT] Verificare sul lato server che SparkSession sia lo stesso
- Aggiornamenti della sicurezza del sistema operativo.
- (Modifica del comportamento) Per garantire un comportamento coerente tra i tipi di calcolo, le funzioni definite dall'utente PySpark nei cluster condivisi corrispondono ora al comportamento delle funzioni definite dall'utente in cluster senza isolamento e assegnati. Questo aggiornamento include le modifiche seguenti che potrebbero interrompere il codice esistente:
Databricks Runtime 14.3
Vedere Databricks Runtime 14.3 LTS.
- 6 aprile 2024
- (Modifica del comportamento) Per garantire un comportamento coerente tra i tipi di calcolo, le funzioni definite dall'utente PySpark nei cluster condivisi corrispondono ora al comportamento delle funzioni definite dall'utente in cluster senza isolamento e assegnati. Questo aggiornamento include le modifiche seguenti che potrebbero interrompere il codice esistente:
- Le funzioni definite dall'utente con un
string
tipo restituito non convertnostring
più in modo implicito i valori non instring
valori. In precedenza, le funzioni definite dall'utente con un tipo restituito distr
avrebbero eseguito il wrapping del valore restituito con unastr()
funzione indipendentemente dal tipo di dati effettivo del valore restituito. - Le funzioni definite dall'utente con
timestamp
tipi restituiti non applicano più in modo implicito una conversione atimestamp
contimezone
. - Le configurazioni
spark.databricks.sql.externalUDF.*
del cluster Spark non si applicano più alle funzioni definite dall'utente pySpark nei cluster condivisi. - La configurazione
spark.databricks.safespark.externalUDF.plan.limit
del cluster Spark non influisce più sulle funzioni definite dall'utente pySpark, rimuovendo la limitazione dell'anteprima pubblica di 5 funzioni definite dall'utente per ogni query per le funzioni definite dall'utente pySpark. - La configurazione
spark.databricks.safespark.sandbox.size.default.mib
del cluster Spark non si applica più alle funzioni definite dall'utente PySpark nei cluster condivisi. Viene invece usata la memoria disponibile nel sistema. Per limitare la memoria delle funzioni definite dall'utente di PySpark, usarespark.databricks.pyspark.udf.isolation.memoryLimit
con un valore minimo di100m
.
- Le funzioni definite dall'utente con un
- Il
TimestampNTZ
tipo di dati è ora supportato come colonna di clustering con clustering liquido. Vedere Usare il clustering liquido per le tabelle Delta. - [SPARK-47511][SQL] Canonicalize With expressions by re-assigning IDs
- [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
- [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
- [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
- Aggiornamenti della sicurezza del sistema operativo.
- (Modifica del comportamento) Per garantire un comportamento coerente tra i tipi di calcolo, le funzioni definite dall'utente PySpark nei cluster condivisi corrispondono ora al comportamento delle funzioni definite dall'utente in cluster senza isolamento e assegnati. Questo aggiornamento include le modifiche seguenti che potrebbero interrompere il codice esistente:
- 3 gennaio 2024
- [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
- [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
- [SPARK-46954] XML: eseguire il wrapping di InputStreamReader con BufferedReader.
- [SPARK-46655] Ignorare il rilevamento del contesto di query nei
DataFrame
metodi. - [SPARK-44815] Cache df.schema per evitare RPC aggiuntive.
- [SPARK-46952] XML: limita le dimensioni del record danneggiato.
- [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
- [SPARK-46736] mantenere il campo messaggio vuoto nel connettore protobuf.
- [SPARK-45182] Ignorare il completamento dell'attività dalla fase precedente dopo aver rieseguito la fase padre-indeterminato come determinato dal checksum.
- [SPARK-46414] Usare prependBaseUri per eseguire il rendering delle importazioni javascript.
- [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di
TaskInfo.accumulables()
. - [SPARK-46861] Evitare deadlock in DAGScheduler.
- [SPARK-46954] XML: ottimizzare la ricerca dell'indice dello schema.
- [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
- [SPARK-46644] Modificare l'aggiunta e l'unione in SQLMetric per usare isZero.
- [SPARK-46731] Gestire l'istanza del provider dell'archivio stati in base all'origine dati stato - lettore.
- [SPARK-46677] Correzione della
dataframe["*"]
risoluzione. - [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
- [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
- [SPARK-45433] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
- [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi tipo unione in Avro.
- [SPARK-46227] Backport alla versione 14.3.
- [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString durante il cast del tipo jdbc al tipo catalyst in jdbc.
- Aggiornamenti della sicurezza del sistema operativo.
Databricks Runtime 14.2
Vedere Databricks Runtime 14.2.
- 9 aprile 2024
- None
- [SPARK-47309][SQL] [XML] Aggiungere unit test di inferenza dello schema
- [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
- [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
- [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
- [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
- Aggiornamenti della sicurezza del sistema operativo.
- 8 febbraio 2024
- Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming di Unity Catalog supportano query CDF in tabelle non
APPLY CHANGES
in Databricks Runtime 14.1 e versioni successive. Le query CDF non sono supportate con le tabelle di streaming di Unity Catalog in Databricks Runtime 14.0 e versioni precedenti. - [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi tipo unione in Avro.
- [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString durante il cast del tipo jdbc al tipo catalyst in jdbc.
- [SPARK-46952] XML: limita le dimensioni del record danneggiato.
- [SPARK-46644] Modificare l'aggiunta e l'unione in SQLMetric per usare isZero.
- [SPARK-46861] Evitare deadlock in DAGScheduler.
- [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
- [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
- [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
- Aggiornamenti della sicurezza del sistema operativo.
- Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming di Unity Catalog supportano query CDF in tabelle non
- 31 gennaio 2024
- [SPARK-46382] XML: aggiornare il documento per
ignoreSurroundingSpaces
. - [SPARK-46382] XML: acquisisce i valori interspersi tra gli elementi.
- [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
- Ripristina l'inferenza dello schema correlata al timestamp [SPARK-46769].
- [SPARK-46677] Correzione della
dataframe["*"]
risoluzione. - [SPARK-46382] XML: valore predefinito ignoreSurroundingSpaces su true.
- [SPARK-46633] Correzione del lettore Avro per gestire blocchi di lunghezza zero.
- [SPARK-45964] Rimuovere la funzione di accesso SQL privata nel pacchetto XML e JSON nel pacchetto catalyst.
- [SPARK-46581] Aggiornare il commento su isZero in AnalyzerV2.
- [SPARK-45912] Miglioramento dell'API XSDToSchema: passare all'API HDFS per l'accessibilità dell'archiviazione cloud.
- [SPARK-45182] Ignorare il completamento dell'attività dalla fase precedente dopo aver rieseguito la fase padre-indeterminato come determinato dal checksum.
- [SPARK-46660] ReattachExecute richiede aggiornamenti dell'integrità del sessionholder.
- [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
- [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di
TaskInfo.accumulables()
. - [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
- [SPARK-46684] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti.
- [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
- [SPARK-45962] Rimuovere
treatEmptyValuesAsNulls
e usarenullValue
l'opzione invece in XML. - [SPARK-46541] Correggere il riferimento di colonna ambiguo in self join.
- [SPARK-46599] XML: usare TypeCoercion.findTightestCommonType per il controllo della compatibilità.
- Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-46382] XML: aggiornare il documento per
- 17 gennaio 2024
- Il
shuffle
nodo del piano di spiegazione restituito da una query Photon viene aggiornato per aggiungere ilcausedBroadcastJoinBuildOOM=true
flag quando si verifica un errore di memoria insufficiente durante una sequenza casuale che fa parte di un join di trasmissione. - Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
- [SPARK-46261]
DataFrame.withColumnsRenamed
deve mantenere l'ordine dict/map. - [SPARK-46538] Correzione del problema di riferimento di colonna ambiguo in
ALSModel.transform
. - [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
- [SPARK-46484] Rendere
resolveOperators
le funzioni helper mantenere l'ID del piano. - [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando
spark.sql.legacy.keepCommandOutputSchema
è impostato su true. - [SPARK-46609] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode.
- [SPARK-46446] Disabilitare le sottoquery con OFF edizione Standard T correlato per correggere il bug di correttezza.
- [SPARK-46152] XML: aggiungere il supporto DecimalType nell'inferenza di XML Schema.
- [SPARK-46602]
allowExisting
Propagare nella creazione della vista quando la vista o la tabella non esiste. - [SPARK-45814] Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria.
- [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
- [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
- [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
- [SPARK-46478] Ripristinare SPARK-43049 per usare oracle varchar(255) per la stringa.
- [SPARK-46417] Non riuscire quando si chiama hive.getTable e throwException è false.
- [SPARK-46153] XML: aggiunta del supporto timestampNTZType.
- [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Correzione del valore predefinito di NpE in lettura con valore predefinito ByteArrayDecimalType.
- [SPARK-46466] Il lettore Parquet vettorializzato non deve mai eseguire il rebase per timestamp ntz.
- [SPARK-46260]
DataFrame.withColumnsRenamed
deve rispettare l'ordine dict. - [SPARK-46036] Rimozione della classe di errore dalla funzione raise_error.
- [SPARK-46294] Pulire la semantica di init rispetto al valore zero.
- [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
- [SPARK-46250] Deflake test_parity_listener.
- [SPARK-46587] XML: correzione della conversione di numeri interi grandi XSD.
- [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
- [SPARK-46241] Correggere la routine di gestione degli errori in modo che non cadrebbe in ricorsione infinita.
- [SPARK-46355] XML: chiudere InputStreamReader al completamento della lettura.
- [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
- [SPARK-46265] Le asserzioni in AddArtifact RPC rendono il client di connessione incompatibile con i cluster meno recenti.
- [SPARK-46308] Impedire la gestione degli errori ricorsivi.
- [SPARK-46337] Mantenere
CTESubstitution
l'oggettoPLAN_ID_TAG
.
- Il
- 14 dicembre 2023
- [SPARK-46141] Modificare il valore predefinito per spark.sql.legacy.ctePrecedencePolicy su CORRETTO.
- [SPARK-45730] Make ReloadingX509TrustManagerSuite less flaky.Make ReloadingX509TrustManagerSuite less flaky.
- [SPARK-45852] Gestire normalmente l'errore di ricorsione durante la registrazione.
- [SPARK-45808] Migliore gestione degli errori per le eccezioni SQL.
- [SPARK-45920] group by ordinal deve essere idempotente.
- Ripristinare "[SPARK-45649] Unificare il framework di preparazione per
OffsetWindowFunctionFrame
". - [SPARK-45733] Supportare più criteri di ripetizione dei tentativi.
- [SPARK-45509] Correzione del comportamento di riferimento delle colonne df per Spark Connessione.
- [SPARK-45655] Consenti espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
- [SPARK-45905] Il tipo meno comune tra i tipi decimali deve prima conservare le cifre integrali.
- [SPARK-45136] Migliorare ClosingCleaner con il supporto di Ammonite.
- [SPARK-46255] Supporto del tipo complesso :> conversione di stringhe.
- [SPARK-45859] Rendere gli oggetti UDF in ml.functions lazy.
- [SPARK-46028] Accettare
Column.__getitem__
la colonna di input. - [SPARK-45798] Assert server-side session ID.
- [SPARK-45892] Eseguire il refactoring della convalida del piano per separare
validateSchemaOutput
evalidateExprIdUniqueness
. - [SPARK-45844] Implementare la distinzione tra maiuscole e minuscole per XML.
- [SPARK-45770] Introdurre il piano
DataFrameDropColumns
perDataframe.drop
. - [SPARK-44790] XML: to_xml implementazione e associazioni per Python, connettersi e SQL.
- [SPARK-45851] Supportare più criteri nel client scala.
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2023
- È stato installato un nuovo pacchetto per
pyarrow-hotfix
correggere una vulnerabilità pyArrow RCE. - È stato risolto un problema per cui i caratteri di sottolineatura preceduti da caratteri di escape nelle
getColumns
operazioni provenienti da client JDBC o ODBC venivano interpretati erroneamente come caratteri jolly. - [SPARK-45730] Vincoli temporali migliorati per
ReloadingX509TrustManagerSuite
. - [SPARK-45852] Il client Python per Spark Connessione ora rileva gli errori di ricorsione durante la conversione del testo.
- [SPARK-45808] Miglioramento della gestione degli errori per le eccezioni SQL.
- [SPARK-45920]
GROUP BY
ordinale non sostituisce l'ordinale. - Ripristinare [SPARK-45649].
- [SPARK-45733] Aggiunta del supporto per più criteri di ripetizione dei tentativi.
- [SPARK-45509] Correzione
df
del comportamento dei riferimenti alle colonne per spark Connessione. - [SPARK-45655] Consenti espressioni non deterministiche all'interno
AggregateFunctions
di inCollectMetrics
. - [SPARK-45905] Il tipo meno comune tra i tipi decimali ora mantiene prima le cifre integrali.
- [SPARK-45136] Migliora con
ClosureCleaner
il supporto di Ammonite. - [SPARK-45859] Oggetti UDF creati in
ml.functions
differita. - [SPARK-46028]
Column.__getitem__
accetta colonne di input. - [SPARK-45798] Assert server-side session ID.
- [SPARK-45892] Eseguire il refactoring della convalida del piano per separare
validateSchemaOutput
evalidateExprIdUniqueness
. - [SPARK-45844] Implementare la distinzione tra maiuscole e minuscole per XML.
- [SPARK-45770] Correzione della risoluzione delle colonne con
DataFrameDropColumns
perDataframe.drop
. - [SPARK-44790] Aggiunta di
to_xml
implementazioni e associazioni per Python, Spark Connessione e SQL. - [SPARK-45851] Aggiunta del supporto per più criteri nel client Scala.
- Aggiornamenti della sicurezza del sistema operativo.
- È stato installato un nuovo pacchetto per
Databricks Runtime 14.1
Vedere Databricks Runtime 14.1.
- 9 aprile 2024
- None
- [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
- [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
- [SPARK-47309][SQL] [XML] Aggiungere unit test di inferenza dello schema
- [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
- [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
- Aggiornamenti della sicurezza del sistema operativo.
- 8 febbraio 2024
- Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming di Unity Catalog supportano query CDF in tabelle non
APPLY CHANGES
in Databricks Runtime 14.1 e versioni successive. Le query CDF non sono supportate con le tabelle di streaming di Unity Catalog in Databricks Runtime 14.0 e versioni precedenti. - [SPARK-46952] XML: limita le dimensioni del record danneggiato.
- [SPARK-45182] Ignorare il completamento dell'attività dalla fase precedente dopo aver rieseguito la fase padre-indeterminato come determinato dal checksum.
- [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
- [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
- [SPARK-46861] Evitare deadlock in DAGScheduler.
- [SPARK-45582] Assicurarsi che l'istanza dell'archivio non venga usata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output.
- [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi tipo unione in Avro.
- [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
- [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
- [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString durante il cast del tipo jdbc al tipo catalyst in jdbc.
- [SPARK-45957] Evitare di generare un piano di esecuzione per i comandi non eseguibili.
- Aggiornamenti della sicurezza del sistema operativo.
- Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming di Unity Catalog supportano query CDF in tabelle non
- 31 gennaio 2024
- [SPARK-46684] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti.
- [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
- [SPARK-45498] Completamento: ignorare il completamento dell'attività dai tentativi di fase precedente.
- [SPARK-46382] XML: aggiornare il documento per
ignoreSurroundingSpaces
. - [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di
TaskInfo.accumulables()
. - [SPARK-46382] XML: valore predefinito ignoreSurroundingSpaces su true.
- [SPARK-46677] Correzione della
dataframe["*"]
risoluzione. - [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
- [SPARK-46633] Correzione del lettore Avro per gestire blocchi di lunghezza zero.
- [SPARK-45912] Miglioramento dell'API XSDToSchema: passare all'API HDFS per l'accessibilità dell'archiviazione cloud.
- [SPARK-46599] XML: usare TypeCoercion.findTightestCommonType per il controllo della compatibilità.
- [SPARK-46382] XML: acquisisce i valori interspersi tra gli elementi.
- [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
- [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
- [SPARK-45964] Rimuovere la funzione di accesso SQL privata nel pacchetto XML e JSON nel pacchetto catalyst.
- Ripristina l'inferenza dello schema correlata al timestamp [SPARK-46769].
- [SPARK-45962] Rimuovere
treatEmptyValuesAsNulls
e usarenullValue
l'opzione invece in XML. - [SPARK-46541] Correggere il riferimento di colonna ambiguo in self join.
- Aggiornamenti della sicurezza del sistema operativo.
- 17 gennaio 2024
- Il
shuffle
nodo del piano di spiegazione restituito da una query Photon viene aggiornato per aggiungere ilcausedBroadcastJoinBuildOOM=true
flag quando si verifica un errore di memoria insufficiente durante una sequenza casuale che fa parte di un join di trasmissione. - Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
- [SPARK-46538] Correzione del problema di riferimento di colonna ambiguo in
ALSModel.transform
. - [SPARK-46417] Non riuscire quando si chiama hive.getTable e throwException è false.
- [SPARK-46484] Rendere
resolveOperators
le funzioni helper mantenere l'ID del piano. - [SPARK-46153] XML: aggiunta del supporto timestampNTZType.
- [SPARK-46152] XML: aggiungere il supporto DecimalType nell'inferenza di XML Schema.
- [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
- [SPARK-46478] Ripristinare SPARK-43049 per usare oracle varchar(255) per la stringa.
- [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando
spark.sql.legacy.keepCommandOutputSchema
è impostato su true. - [SPARK-46337] Mantenere
CTESubstitution
l'oggettoPLAN_ID_TAG
. - [SPARK-46466] Il lettore Parquet vettorializzato non deve mai eseguire il rebase per timestamp ntz.
- [SPARK-46587] XML: correzione della conversione di numeri interi grandi XSD.
- [SPARK-45814] Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria.
- [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
- [SPARK-46602]
allowExisting
Propagare nella creazione della vista quando la vista o la tabella non esiste. - [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
- [SPARK-46355] XML: chiudere InputStreamReader al completamento della lettura.
- [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
- [SPARK-46261]
DataFrame.withColumnsRenamed
deve mantenere l'ordine dict/map. - [SPARK-46056] Correzione del valore predefinito di NpE in lettura con valore predefinito ByteArrayDecimalType.
- [SPARK-46260]
DataFrame.withColumnsRenamed
deve rispettare l'ordine dict. - [SPARK-46250] Deflake test_parity_listener.
- [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
- [SPARK-46609] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode.
- [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
- Il
- 14 dicembre 2023
- È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
- [SPARK-45509] Correzione del comportamento di riferimento delle colonne df per Spark Connessione.
- [SPARK-45844] Implementare la distinzione tra maiuscole e minuscole per XML.
- [SPARK-46141] Modificare il valore predefinito per spark.sql.legacy.ctePrecedencePolicy su CORRETTO.
- [SPARK-46028] Accettare
Column.__getitem__
la colonna di input. - [SPARK-46255] Supporto del tipo complesso :> conversione di stringhe.
- [SPARK-45655] Consenti espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
- [SPARK-45433] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
- [SPARK-45316] Aggiungere nuovi parametri
ignoreCorruptFiles
/ignoreMissingFiles
aHadoopRDD
e .NewHadoopRDD
- [SPARK-45852] Gestire normalmente l'errore di ricorsione durante la registrazione.
- [SPARK-45920] group by ordinal deve essere idempotente.
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2023
- È stato installato un nuovo pacchetto per
pyarrow-hotfix
correggere una vulnerabilità pyArrow RCE. - È stato risolto un problema per cui i caratteri di sottolineatura preceduti da caratteri di escape nelle
getColumns
operazioni provenienti da client JDBC o ODBC venivano interpretati erroneamente come caratteri jolly. - Quando si inseriscono dati CSV usando il caricatore automatico o le tabelle di streaming, i file CSV di grandi dimensioni sono ora suddivisi e possono essere elaborati in parallelo durante l'inferenza dello schema e l'elaborazione dei dati.
- [SPARK-45892] Eseguire il refactoring della convalida del piano per separare
validateSchemaOutput
evalidateExprIdUniqueness
. - [SPARK-45620] Le API correlate alla funzione definita dall'utente Python ora usano camelCase.
- [SPARK-44790] Aggiunta di
to_xml
implementazioni e associazioni per Python, Spark Connessione e SQL. - [SPARK-45770] Correzione della risoluzione delle colonne con
DataFrameDropColumns
perDataframe.drop
. - [SPARK-45859] Oggetti UDF creati in
ml.functions
differita. - [SPARK-45730] Vincoli temporali migliorati per
ReloadingX509TrustManagerSuite
. - [SPARK-44784] Ha fatto test SBT ermetica.
- Aggiornamenti della sicurezza del sistema operativo.
- È stato installato un nuovo pacchetto per
- 10 novembre 2023
- [SPARK-45545]
SparkTransportConf
SSLOptions
eredita al momento della creazione. - [SPARK-45250] Aggiunta del supporto per il profilo delle risorse delle attività a livello di fase per i cluster yarn quando l'allocazione dinamica è disattivata.
- [SPARK-44753] Aggiunta del lettore e del writer di dataframe XML per PySpark SQL.
- [SPARK-45396] Aggiunta di una voce di documento per
PySpark.ml.connect
il modulo. - [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con
TakeOrderedAndProjectExec
. - [SPARK-45541] Aggiunta di SSLFactory.
- [SPARK-45577] Correzione
UserDefinedPythonTableFunctionAnalyzeRunner
del passaggio di valori piegati da argomenti denominati. - [SPARK-45562] Ha reso 'rowTag' un'opzione obbligatoria.
- [SPARK-45427] Aggiunta delle impostazioni SSL RPC a
SSLOptions
eSparkTransportConf
. - [SPARK-43380] Correzione del rallentamento nella lettura avro.
- [SPARK-45430]
FramelessOffsetWindowFunction
non ha più esito negativo quandoIGNORE NULLS
eoffset > rowCount
. - [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
- [SPARK-45386] È stato risolto un problema per cui
StorageLevel.NONE
restituiva erroneamente 0. - [SPARK-44219] Aggiunta di controlli di convalida per regola per le riscritture di ottimizzazione.
- [SPARK-45543] È stato risolto un problema per cui
InferWindowGroupLimit
causava un problema se le altre funzioni della finestra non avrebbero lo stesso frame della finestra delle funzioni di rango. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-45545]
- 27 settembre 2023
- [SPARK-44823] Aggiornato
black
alla versione 23.9.1 e corretto il controllo errato. - [SPARK-45339] PySpark registra ora gli errori di ripetizione dei tentativi.
- Ripristinare [SPARK-42946] Reacted sensitive data nested under variable sostituzioni.
- [SPARK-44551] Commenti modificati per la sincronizzazione con OSS.
- [SPARK-45360] Il generatore di sessioni Spark supporta l'inizializzazione da
SPARK_REMOTE
. - [SPARK-45279] Collegato
plan_id
a tutti i piani logici. - [SPARK-45425] Mappato
TINYINT
aShortType
perMsSqlServerDialect
. - [SPARK-45419] Rimozione della voce della mappa delle versioni dei file delle versioni più grandi per evitare di riutilizzare
rocksdb
gli ID file sst. - [SPARK-45488] Aggiunta del supporto per il valore nell'elemento
rowTag
. - [SPARK-42205] Rimozione della registrazione di
Accumulables
negliTask/Stage
eventi di avvio neiJsonProtocol
registri eventi. - [SPARK-45426] Aggiunta del supporto per
ReloadingX509TrustManager
. - [SPARK-45256]
DurationWriter
si verifica un errore durante la scrittura di più valori rispetto alla capacità iniziale. - [SPARK-43380] Correzione dei
Avro
problemi di conversione dei tipi di dati senza causare la regressione delle prestazioni. - [SPARK-45182] Aggiunta del supporto per il rollback della fase di riproduzione casuale della mappa in modo che tutte le attività di fase possano essere ritentate quando l'output della fase è indeterminato.
- [SPARK-45399] Aggiunta di opzioni XML tramite
newOption
. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-44823] Aggiornato
Databricks Runtime 13.3 LTS
Vedere Databricks Runtime 13.3 LTS.
- 9 aprile 2024
- [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
- Aggiornamenti della sicurezza del sistema operativo.
- 8 febbraio 2024
- Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming di Unity Catalog supportano query CDF in tabelle non
APPLY CHANGES
in Databricks Runtime 14.1 e versioni successive. Le query CDF non sono supportate con le tabelle di streaming di Unity Catalog in Databricks Runtime 14.0 e versioni precedenti. - [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
- [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
- [SPARK-45582] Assicurarsi che l'istanza dell'archivio non venga usata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output.
- [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
- [SPARK-46861] Evitare deadlock in DAGScheduler.
- [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
- Aggiornamenti della sicurezza del sistema operativo.
- Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming di Unity Catalog supportano query CDF in tabelle non
- 31 gennaio 2024
- [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
- [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables().
- [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
- [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
- [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
- Aggiornamenti della sicurezza del sistema operativo.
- 17 gennaio 2024
- Il
shuffle
nodo del piano di spiegazione restituito da una query Photon viene aggiornato per aggiungere ilcausedBroadcastJoinBuildOOM=true
flag quando si verifica un errore di memoria insufficiente durante una sequenza casuale che fa parte di un join di trasmissione. - Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
- [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
- [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
- [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
- [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
- [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
- [SPARK-46609] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode.
- [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
- [SPARK-46602]
allowExisting
Propagare nella creazione della vista quando la vista o la tabella non esiste. - [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire la corsa con le operazioni in background.
- [SPARK-46417] Non riuscire quando si chiama hive.getTable e throwException è false.
- [SPARK-46538] Correzione del problema di riferimento di colonna ambiguo in
ALSModel.transform
. - [SPARK-46478] Ripristinare SPARK-43049 per usare oracle varchar(255) per la stringa.
- [SPARK-46250] Deflake test_parity_listener.
- [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando
spark.sql.legacy.keepCommandOutputSchema
è impostato su true. - [SPARK-46056] Correzione del valore predefinito di NpE in lettura con valore predefinito ByteArrayDecimalType.
- [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
- [SPARK-46466] Il lettore Parquet vettorializzato non deve mai eseguire il rebase per timestamp ntz.
- Il
- 14 dicembre 2023
- È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
- [SPARK-45920] group by ordinal deve essere idempotente.
- [SPARK-44582] Ignorare l'iteratore su SMJ se è stato pulito.
- [SPARK-45433] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
- [SPARK-45655] Consenti espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2023
- È stato installato un nuovo pacchetto per
pyarrow-hotfix
correggere una vulnerabilità pyArrow RCE. - Il connettore Spark-snowflake viene aggiornato alla versione 2.12.0.
- [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo
RemoveRedundantAggregates
. - [SPARK-45544] Supporto SSL integrato in
TransportContext
. - [SPARK-45892] Eseguire il refactoring della convalida del piano per separare
validateSchemaOutput
evalidateExprIdUniqueness
. - [SPARK-45730] Vincoli temporali migliorati per
ReloadingX509TrustManagerSuite
. - [SPARK-45859] Oggetti UDF creati in
ml.functions
differita. - Aggiornamenti della sicurezza del sistema operativo.
- È stato installato un nuovo pacchetto per
- 10 novembre 2023
- I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
- Query di feed di dati modificate nelle tabelle di streaming del catalogo Unity e nelle viste materializzate per visualizzare i messaggi di errore.
- [SPARK-45545]
SparkTransportConf
SSLOptions
eredita al momento della creazione. - [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con
TakeOrderedAndProjectExec
. - [SPARK-45427] Aggiunta delle impostazioni SSL RPC a
SSLOptions
eSparkTransportConf
. - [SPARK-45541] Aggiunta di
SSLFactory
. - [SPARK-45430]
FramelessOffsetWindowFunction
non ha più esito negativo quandoIGNORE NULLS
eoffset > rowCount
. - [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
- [SPARK-44219] Sono state aggiunte altre convalide per regola per le riscritture di ottimizzazione.
- [SPARK-45543] È stato risolto un problema per cui
InferWindowGroupLimit
causava un problema se le altre funzioni della finestra non avrebbero lo stesso frame della finestra delle funzioni di rango. - Aggiornamenti della sicurezza del sistema operativo.
- 23 ottobre 2023
- [SPARK-45256] È stato risolto un problema a causa del quale
DurationWriter
non è stato possibile scrivere più valori rispetto alla capacità iniziale. - [SPARK-45419] Evitare di riutilizzare
rocksdb sst
i file in un'istanza diversarocksdb
rimuovendo le voci della mappa delle versioni dei file di versioni più grandi. - [SPARK-45426] Aggiunta del supporto per
ReloadingX509TrustManager
. - Correzioni varie.
- [SPARK-45256] È stato risolto un problema a causa del quale
- 13 ottobre 2023
- Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
- La
array_insert
funzione è basata su 1 per indici positivi e negativi, mentre in precedenza era basata su 0 per gli indici negativi. Ora inserisce un nuovo elemento alla fine delle matrici di input per l'indice -1. Per ripristinare il comportamento precedente, impostare suspark.sql.legacy.negativeIndexInArrayInsert
true
. - È stato risolto un problema relativo al mancato ignorare i file danneggiati quando
ignoreCorruptFiles
è abilitato durante l'inferenza dello schema CSV con il caricatore automatico. - Ripristinare [SPARK-42946].
- [SPARK-42205] Aggiornato il protocollo JSON per rimuovere la registrazione di Accumulables in un'attività o in eventi di avvio della fase.
- [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per
Trigger.AvailableNow
con origini non supportate anziché usare il wrapper. - [SPARK-45316] Aggiungere nuovi parametri
ignoreCorruptFiles
eignoreMissingFiles
aHadoopRDD
eNewHadoopRDD
. - [SPARK-44740] Correzione dei valori dei metadati per Artifacts.
- [SPARK-45360] Configurazione del generatore di sessioni Spark inizializzata da
SPARK_REMOTE
. - [SPARK-44551] Commenti modificati per la sincronizzazione con OSS.
- [SPARK-45346] L'inferenza dello schema Parquet ora rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione dello schema.
- [SPARK-44658]
ShuffleStatus.getMapStatus
ora restituisceNone
invece diSome(null)
. - [SPARK-44840] In
array_insert()
base 1 per gli indici negativi.
- 14 settembre 2023
- [SPARK-44873] Aggiunta del supporto per
alter view
con colonne annidate nel client Hive. - [SPARK-44878] Disattivato il limite rigido per la gestione scrittura per
RocksDB
evitare l'eccezione di inserimento al completamento della cache.
- [SPARK-44873] Aggiunta del supporto per
- 30 agosto 2023
- Il comando dbutils
cp
(dbutils.fs.cp
) è stato ottimizzato per una copia più rapida. Con questo miglioramento, le operazioni di copia possono richiedere fino a 100 meno tempo, a seconda delle dimensioni del file. La funzionalità è disponibile in tutti i cloud e nei file system accessibili in Databricks, inclusi i volumi del catalogo Unity e i montaggi DBFS. - [SPARK-44455] Identificatori di virgolette con backtick nel
SHOW CREATE TABLE
risultato. - [SPARK-44763] È stato risolto un problema che mostrava una stringa come double nell'aritmetica binaria con intervallo.
- [SPARK-44871] Correzione
percentile_disc
del comportamento. - [SPARK-44714] Limitazione della risoluzione LCA relativa alle query.
- [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima
taskThread
dell'inizializzazione. - [SPARK-44505] Aggiunta dell'override per il supporto a colonne in Analisi per DSv2.
- [SPARK-44479] Correzione della conversione protobuf da un tipo di struct vuoto.
- [SPARK-44718] Per
ColumnVector
impostazione predefinita, la configurazione in modalità memoria corrisponde alOffHeapMemoryMode
valore di configurazione. - [SPARK-42941] Aggiunta del supporto per
StreamingQueryListener
in Python. - [SPARK-44558] Esportare il livello di log spark Connessione di PySpark.
- [SPARK-44464] Correzione
applyInPandasWithStatePythonRunner
delle righe di output con Valore Null come primo valore di colonna. - [SPARK-44643] Corretto
Row.__repr__
quando il campo è una riga vuota. - Aggiornamenti della sicurezza del sistema operativo.
- Il comando dbutils
Databricks Runtime 12.2 LTS
Vedere Databricks Runtime 12.2 LTS.
- 9 aprile 2024
- Aggiornamenti della sicurezza del sistema operativo.
- 13 febbraio 2024
- [SPARK-46861] Evitare deadlock in DAGScheduler.
- [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
- Aggiornamenti della sicurezza del sistema operativo.
- 31 gennaio 2024
- [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
- Aggiornamenti della sicurezza del sistema operativo.
- 25 dicembre 2023
- Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
- [SPARK-39440] Aggiungere una configurazione per disabilitare la sequenza temporale degli eventi.
- [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
- [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando
spark.sql.legacy.keepCommandOutputSchema
è impostato su true. - [SPARK-46417] Non riuscire quando si chiama hive.getTable e throwException è false.
- [SPARK-43067] Correggere il percorso del file di risorse della classe di errore nel connettore Kafka.
- [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire la corsa con le operazioni in background.
- [SPARK-46602]
allowExisting
Propagare nella creazione della vista quando la vista o la tabella non esiste. - [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
- [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
- [SPARK-46538] Correzione del problema di riferimento di colonna ambiguo in
ALSModel.transform
. - [SPARK-42852] Ripristinare le modifiche correlate a NamedLambdaVariable da EquivalentExpressions.
- 14 dicembre 2023
- È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
- [SPARK-44582] Ignorare l'iteratore su SMJ se è stato pulito.
- [SPARK-45920] group by ordinal deve essere idempotente.
- [SPARK-45655] Consenti espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2023
- È stato installato un nuovo pacchetto per
pyarrow-hotfix
correggere una vulnerabilità pyArrow RCE. - È stato risolto un problema per cui i caratteri di sottolineatura preceduti da caratteri di escape nelle
getColumns
operazioni provenienti da client JDBC o ODBC venivano interpretati erroneamente come caratteri jolly. - [SPARK-42205] Rimozione degli accumuli di registrazione negli
Stage
eventi di avvio eTask
avvio. - [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo
RemoveRedundantAggregates
. - [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei
USING
join. - [SPARK-45544] Supporto SSL integrato in
TransportContext
. - [SPARK-43973] L'interfaccia utente di Structured Streaming ora visualizza correttamente le query non riuscite.
- [SPARK-45730] Vincoli temporali migliorati per
ReloadingX509TrustManagerSuite
. - [SPARK-45859] Oggetti UDF creati in
ml.functions
differita. - Aggiornamenti della sicurezza del sistema operativo.
- È stato installato un nuovo pacchetto per
- 14 novembre 2023
- I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
- [SPARK-45545]
SparkTransportConf
SSLOptions
eredita al momento della creazione. - [SPARK-45427] Aggiunta delle impostazioni SSL RPC a
SSLOptions
eSparkTransportConf
. - [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con
TakeOrderedAndProjectExec
. - [SPARK-45541] Aggiunta di
SSLFactory
. - [SPARK-45430]
FramelessOffsetWindowFunction
non ha più esito negativo quandoIGNORE NULLS
eoffset > rowCount
. - [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
- Aggiornamenti della sicurezza del sistema operativo.
- 24 ottobre 2023
- [SPARK-45426] Aggiunta del supporto per
ReloadingX509TrustManager
. - Correzioni varie.
- [SPARK-45426] Aggiunta del supporto per
- 13 ottobre 2023
- Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
- [SPARK-42553] Verificare almeno un'unità di tempo dopo l'intervallo.
- [SPARK-45346] L'inferenza dello schema Parquet rispetta il flag con distinzione tra maiuscole e minuscole durante l'unione dello schema.
- [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per
Trigger.AvailableNow
con origini non supportate anziché usare il wrapper. - [SPARK-45084]
StateOperatorProgress
per usare un numero di partizione casuale accurato e adeguato.
- 12 settembre 2023
- [SPARK-44873] Aggiunta del supporto per
alter view
con colonne annidate nel client Hive. - [SPARK-44718] Per
ColumnVector
impostazione predefinita, la configurazione in modalità memoria corrisponde alOffHeapMemoryMode
valore di configurazione. - [SPARK-43799] Aggiunta dell'opzione binaria del descrittore all'API PySpark
Protobuf
. - Correzioni varie.
- [SPARK-44873] Aggiunta del supporto per
- 30 agosto 2023
- [SPARK-44485]
TreeNode.generateTreeString
Ottimizzato. - [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima
taskThread
dell'inizializzazione. - [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Correzione
percentile_disc
del comportamento. - [SPARK-44714] Restrizione semplificata della risoluzione LCA relativa alle query.
- Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-44485]
- 15 agosto 2023
- [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
- [SPARK-44464] Correzione
applyInPandasWithStatePythonRunner
delle righe di output che hannoNull
come primo valore di colonna. - Aggiornamenti della sicurezza del sistema operativo.
- 29 luglio 2023
- È stato risolto un problema per cui
dbutils.fs.ls()
viene restituito quando vieneINVALID_PARAMETER_VALUE.LOCATION_OVERLAP
chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito. - [SPARK-44199]
CacheManager
non aggiorna più l'inutilmentefileIndex
. - Aggiornamenti della sicurezza del sistema operativo.
- È stato risolto un problema per cui
- 24 luglio 2023
- [SPARK-44337] È stato risolto un problema per cui qualsiasi set di campi causava
Any.getDefaultInstance
errori di analisi. - [SPARK-44136] È stato risolto un problema per cui
StateManager
si materializzava in un executor anziché il driver inFlatMapGroupsWithStateExec
. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-44337] È stato risolto un problema per cui qualsiasi set di campi causava
- 23 giugno 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 15 giugno 2023
- Fotonized
approx_count_distinct
. - La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
- [SPARK-43779]
ParseToDate
ora caricaEvalMode
nel thread principale. - [SPARK-43156][SPARK-43098] Test di errore del conteggio delle sottoquery scalari esteso con
decorrelateInnerQuery
disattivato. - Aggiornamenti della sicurezza del sistema operativo.
- Fotonized
- 2 giugno 2023
- Il parser JSON in
failOnUnknownFields
modalità elimina un record inDROPMALFORMED
modalità e ha esito negativo direttamente inFAILFAST
modalità. - Migliorare le prestazioni degli aggiornamenti incrementali con
SHALLOW CLONE
Iceberg e Parquet. - È stato risolto un problema nel caricatore automatico in cui i diversi formati di file di origine erano incoerenti quando lo schema specificato non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
- [SPARK-43404] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
- [SPARK-43413][11.3-13.0] Correzione
IN
di valori Null della sottoqueryListQuery
. - [SPARK-43522] Correzione della creazione del nome della colonna dello struct con indice della matrice.
- [SPARK-43541] Propagare tutti i
Project
tag nella risoluzione delle espressioni e delle colonne mancanti. - [SPARK-43527] Correzione
catalog.listCatalogs
in PySpark. - [SPARK-43123] I metadati dei campi interni non vengono più perdite nei cataloghi.
- [SPARK-43340] Correzione del campo di analisi dello stack mancante nei log eventi.
- [SPARK-42444]
DataFrame.drop
ora gestisce correttamente le colonne duplicate. - [SPARK-42937]
PlanSubqueries
ora imposta suInSubqueryExec#shouldBroadcast
true. - [SPARK-43286] Aggiornamento della
aes_encrypt
modalità CBC per generare IV casuali. - [SPARK-43378] Chiudere correttamente gli oggetti flusso in
deserializeFromChunkedBuffer
.
- Il parser JSON in
- 17 maggio 2023
- Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati in modo da ridurre in modo preemptive le dimensioni del batch e vengono nuovamente abbassati nei tentativi di attività come rete di sicurezza finale.
- Se un file Avro è stato letto solo con l'opzione
failOnUnknownFields\
o con ilfailOnNewColumns\
caricatore automatico nella modalità di evoluzione dello schema, le colonne con tipi di dati diversi verranno lette comenull\
anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzionerescuedDataColumn\
. - Il caricatore automatico esegue ora le operazioni seguenti.
-
- Legge correttamente e non salva più i
Integer
tipi ,Short
eByte
se viene fornito uno di questi tipi di dati, ma il file Avro suggerisce uno degli altri due tipi.
- Legge correttamente e non salva più i
-
- Impedisce la lettura dei tipi di intervallo come tipi di data o timestamp per evitare di ottenere date danneggiate.
-
- Impedisce la lettura
Decimal
dei tipi con precisione inferiore.
- Impedisce la lettura
- [SPARK-43172] Espone l'host e il token dal client di connessione Spark.
- [SPARK-43293]
__qualified_access_only
viene ignorato nelle colonne normali. - [SPARK-43098] Correzione del bug di correzione
COUNT
quando la sottoquery scalare è raggruppata per clausola. - [SPARK-43085] Supporto per l'assegnazione di colonne
DEFAULT
per i nomi di tabella in più parti. - [SPARK-43190]
ListQuery.childOutput
è ora coerente con l'output secondario. - [SPARK-43192] Rimozione della convalida del charset dell'agente utente.
- Aggiornamenti della sicurezza del sistema operativo.
- 25 aprile 2023
- Se un file Parquet è stato letto solo con l'opzione
failOnUnknownFields
o con ilfailOnNewColumns
caricatore automatico nella modalità di evoluzione dello schema, le colonne con tipi di dati diversi verrebbero lette comenull
anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzionerescuedDataColumn
. - Il caricatore automatico ora legge correttamente e non salva più i
Integer
tipi ,Short
eByte
se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili. - [SPARK-43009] Parametrizzato
sql()
conAny
costanti - [SPARK-42406] Terminare i campi ricorsivi Protobuf eliminando il campo
- [SPARK-43038] Supportare la modalità CBC tramite
aes_encrypt()
/aes_decrypt()
- [SPARK-42971] Modifica per la stampa
workdir
seappDirs
è Null quando l'evento handle delWorkDirCleanup
ruolo di lavoro - [SPARK-43018] Correzione del bug per i comandi IN edizione Standard RT con valori letterali timestamp
- Aggiornamenti della sicurezza del sistema operativo.
- Se un file Parquet è stato letto solo con l'opzione
- 11 aprile 2023
- Supportare i formati di origine dati legacy nel
SYNC
comando . - Risolve un problema nel comportamento di %autoload nei notebook all'esterno di un repository.
- È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
- [SPARK-42928] Esegue la
resolvePersistentFunction
sincronizzazione. - [SPARK-42936] Risolve il problema LCan quando la clausola può essere risolta direttamente dall'aggregazione figlio.
- [SPARK-42967]
SparkListenerTaskStart.stageAttemptId
Corregge l'avvio di un'attività dopo l'annullamento della fase. - Aggiornamenti della sicurezza del sistema operativo.
- Supportare i formati di origine dati legacy nel
- 29 marzo 2023
Databricks SQL supporta ora la specifica dei valori predefiniti per le colonne delle tabelle Delta Lake, in fase di creazione della tabella o successiva. I
INSERT
comandi successivi ,UPDATE
DELETE
, eMERGE
possono fare riferimento al valore predefinito di qualsiasi colonna usando la parola chiave explicitDEFAULT
. Inoltre, se un'assegnazioneINSERT
include un elenco esplicito di meno colonne rispetto alla tabella di destinazione, i valori predefiniti della colonna corrispondenti vengono sostituiti per le colonne rimanenti (o NULL se non viene specificato alcun valore predefinito).Ad esempio:
CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta; INSERT INTO t VALUES (0, DEFAULT); INSERT INTO t VALUES (1, DEFAULT); SELECT first, second FROM t; \> 0, 2023-03-28 1, 2023-03-28z
Il caricatore automatico avvia ora almeno una pulizia sincrona del log RocksDB per i flussi per
Trigger.AvailableNow
verificare che il checkpoint possa essere pulito regolarmente per i flussi auto loader a esecuzione rapida. Ciò può richiedere più tempo prima dell'arresto di alcuni flussi, ma consente di risparmiare sui costi di archiviazione e di migliorare l'esperienza di caricamento automatico nelle esecuzioni future.È ora possibile modificare una tabella Delta per aggiungere il supporto alle funzionalità di tabella usando
DeltaTable.addFeatureSupport(feature_name)
.[SPARK-42794] Aumentare il bloccoAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio stati RocksDB in Structure Streaming
[SPARK-42521] Aggiungere NULLs per IN edizione Standard RTs con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione
[SPARK-42702][SPARK-42623] Supportare query con parametri in sottoquery e CTE
[SPARK-42668] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider stop
[SPARK-42403] JsonProtocol deve gestire stringhe JSON null
- 8 marzo 2023
- Il messaggio di errore "Errore di inizializzazione della configurazione" è stato migliorato per fornire più contesto per il cliente.
- Esiste una modifica della terminologia per l'aggiunta di funzionalità a una tabella Delta usando la proprietà table. La sintassi preferita è ora
'delta.feature.featureName'='supported'
anziché'delta.feature.featureName'='enabled'
. Per garantire la compatibilità con le versioni precedenti, l'uso'delta.feature.featureName'='enabled'
continua a funzionare e continuerà a funzionare. - A partire da questa versione, è possibile creare/sostituire una tabella con una proprietà
delta.ignoreProtocolDefaults
di tabella aggiuntiva per ignorare le configurazioni spark correlate al protocollo, che include le versioni predefinite del lettore e del writer e le funzionalità di tabella supportate per impostazione predefinita. - [SPARK-42070] Modificare il valore predefinito dell'argomento della funzione Mask da -1 a NULL
- [SPARK-41793] Risultato non corretto per i fotogrammi finestra definiti da una clausola di intervallo in decimali significativi
- [SPARK-42484] Messaggio di errore unsafeRowUtils migliore
- [SPARK-42516] Acquisire sempre la configurazione del fuso orario della sessione durante la creazione di visualizzazioni
- [SPARK-42635] Correggere l'espressione TimestampAdd.
- [SPARK-42622] Disattivata la sostituzione nei valori
- [SPARK-42534] Correzione della clausola DB2Dialect Limit
- [SPARK-42121] Aggiungere funzioni predefinite con valori di tabella posexplode, posexplode_outer, json_tuple e stack
- [SPARK-42045] Modalità SQL ANSI: round/bround deve restituire un errore in overflow di integer piccolo/piccolo/significativo
- Aggiornamenti della sicurezza del sistema operativo.
Databricks Runtime 11.3 LTS
Vedere Databricks Runtime 11.3 LTS.
- 9 aprile 2024
- Aggiornamenti della sicurezza del sistema operativo.
- 13 febbraio 2024
- [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
- [SPARK-46861] Evitare deadlock in DAGScheduler.
- Aggiornamenti della sicurezza del sistema operativo.
- 31 gennaio 2024
- Aggiornamenti della sicurezza del sistema operativo.
- 25 dicembre 2023
- Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
- [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
- [SPARK-46602]
allowExisting
Propagare nella creazione della vista quando la vista o la tabella non esiste. - [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando
spark.sql.legacy.keepCommandOutputSchema
è impostato su true. - [SPARK-46538] Correzione del problema di riferimento di colonna ambiguo in
ALSModel.transform
. - [SPARK-39440] Aggiungere una configurazione per disabilitare la sequenza temporale degli eventi.
- [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire la corsa con le operazioni in background.
- [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
- 14 dicembre 2023
- È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2023
- È stato installato un nuovo pacchetto per
pyarrow-hotfix
correggere una vulnerabilità pyArrow RCE. - È stato risolto un problema per cui i caratteri di sottolineatura preceduti da caratteri di escape nelle
getColumns
operazioni provenienti da client JDBC o ODBC venivano interpretati erroneamente come caratteri jolly. - [SPARK-43973] L'interfaccia utente di Structured Streaming ora visualizza correttamente le query non riuscite.
- [SPARK-45730] Vincoli temporali migliorati per
ReloadingX509TrustManagerSuite
. - [SPARK-45544] Supporto SSL integrato in
TransportContext
. - [SPARK-45859] Oggetti UDF creati in
ml.functions
differita. - [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei
USING
join. - [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo
RemoveRedundantAggregates
. - Aggiornamenti della sicurezza del sistema operativo.
- È stato installato un nuovo pacchetto per
- 14 novembre 2023
- I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
- [SPARK-42205] Rimozione delle registrazioni accumulabili negli eventi stage e task start.
- [SPARK-45545]
SparkTransportConf
SSLOptions
eredita al momento della creazione. - Ripristinare [SPARK-33861].
- [SPARK-45541] Aggiunta di
SSLFactory
. - [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
- [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con
TakeOrderedAndProjectExec
. - [SPARK-45430]
FramelessOffsetWindowFunction
non ha più esito negativo quandoIGNORE NULLS
eoffset > rowCount
. - [SPARK-45427] Aggiunta delle impostazioni SSL RPC a
SSLOptions
eSparkTransportConf
. - Aggiornamenti della sicurezza del sistema operativo.
- 24 ottobre 2023
- [SPARK-45426] Aggiunta del supporto per
ReloadingX509TrustManager
. - Correzioni varie.
- [SPARK-45426] Aggiunta del supporto per
- 13 ottobre 2023
- Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
- [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per
Trigger.AvailableNow
con origini non supportate anziché usare il wrapper. - [SPARK-45084]
StateOperatorProgress
per usare un numero di partizione casuale accurato e adeguato. - [SPARK-45346] L'inferenza dello schema Parquet ora rispetta il flag con distinzione tra maiuscole e minuscole durante l'unione di uno schema.
- Aggiornamenti della sicurezza del sistema operativo.
- 10 settembre 2023
- Correzioni varie.
- 30 agosto 2023
- [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima
taskThread
dell'inizializzazione. - [SPARK-44871][11.3-13.0] Corretto
percentile_disc
comportamento. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima
- 15 agosto 2023
- [SPARK-44485]
TreeNode.generateTreeString
Ottimizzato. - [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
- [SPARK-44464] Correzione
applyInPandasWithStatePythonRunner
delle righe di output che hannoNull
come primo valore di colonna. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-44485]
- 27 luglio 2023
- È stato risolto un problema per cui
dbutils.fs.ls()
viene restituito quando vieneINVALID_PARAMETER_VALUE.LOCATION_OVERLAP
chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito. - [SPARK-44199]
CacheManager
non aggiorna più l'inutilmentefileIndex
. - Aggiornamenti della sicurezza del sistema operativo.
- È stato risolto un problema per cui
- 24 luglio 2023
- [SPARK-44136] È stato risolto un problema per cui StateManager può essere materializzato nell'executor anziché nel driver in FlatMapGroupsWithStateExec.
- Aggiornamenti della sicurezza del sistema operativo.
- 23 giugno 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 15 giugno 2023
- Fotonized
approx_count_distinct
. - La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
- [SPARK-43779]
ParseToDate
ora caricaEvalMode
nel thread principale. - [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Test di bug del conteggio delle sottoquery scalari esteso con
decorrelateInnerQuery
disattivato. - [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare ha una clausola group by
- Aggiornamenti della sicurezza del sistema operativo.
- Fotonized
- 2 giugno 2023
- Il parser JSON in
failOnUnknownFields
modalità elimina un record inDROPMALFORMED
modalità e ha esito negativo direttamente inFAILFAST
modalità. - Migliorare le prestazioni degli aggiornamenti incrementali con
SHALLOW CLONE
Iceberg e Parquet. - È stato risolto un problema nel caricatore automatico in cui i diversi formati di file di origine erano incoerenti quando lo schema specificato non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
- [SPARK-43404]Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
- [SPARK-43527] Correzione
catalog.listCatalogs
in PySpark. - [SPARK-43413][11.3-13.0] Correzione
IN
di valori Null della sottoqueryListQuery
. - [SPARK-43340] Correzione del campo di analisi dello stack mancante nei log eventi.
- Il parser JSON in
Databricks Runtime 10.4 LTS
Vedere Databricks Runtime 10.4 LTS.
- 6 aprile 2024
- Aggiornamenti della sicurezza del sistema operativo.
- 13 febbraio 2024
- [SPARK-46861] Evitare deadlock in DAGScheduler.
- Aggiornamenti della sicurezza del sistema operativo.
- 31 gennaio 2024
- Aggiornamenti della sicurezza del sistema operativo.
- 25 dicembre 2023
- Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
- [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
- [SPARK-46538] Correzione del problema di riferimento di colonna ambiguo in
ALSModel.transform
. - [SPARK-39440] Aggiungere una configurazione per disabilitare la sequenza temporale degli eventi.
- [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
- 14 dicembre 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2023
- È stato installato un nuovo pacchetto per
pyarrow-hotfix
correggere una vulnerabilità pyArrow RCE. - [SPARK-45544] Supporto SSL integrato in
TransportContext
. - [SPARK-45859] Oggetti UDF creati in
ml.functions
differita. - [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei
USING
join. - [SPARK-45730] Vincoli temporali migliorati per
ReloadingX509TrustManagerSuite
. - [SPARK-42205] Rimozione delle registrazioni accumulabili negli eventi stage e task start.
- [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo
RemoveRedundantAggregates
. - Aggiornamenti della sicurezza del sistema operativo.
- È stato installato un nuovo pacchetto per
- 14 novembre 2023
- [SPARK-45541] Aggiunta di
SSLFactory
. - [SPARK-45545]
SparkTransportConf
SSLOptions
eredita al momento della creazione. - [SPARK-45427] Aggiunta delle impostazioni SSL RPC a
SSLOptions
eSparkTransportConf
. - [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
- [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con
TakeOrderedAndProjectExec
. - Ripristinare [SPARK-33861].
- Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-45541] Aggiunta di
- 24 ottobre 2023
- [SPARK-45426] Aggiunta del supporto per
ReloadingX509TrustManager
. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-45426] Aggiunta del supporto per
- 13 ottobre 2023
- [SPARK-45084]
StateOperatorProgress
per usare un numero di partizione casuale accurato e adeguato. - [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per
Trigger.AvailableNow
con origini non supportate anziché usare il wrapper. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-45084]
- 10 settembre 2023
- Correzioni varie.
- 30 agosto 2023
- [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima
taskThread
dell'inizializzazione. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima
- 15 agosto 2023
- [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
- [SPARK-43973] L'interfaccia utente di Structured Streaming ora viene visualizzata correttamente nelle query non riuscite.
- Aggiornamenti della sicurezza del sistema operativo.
- 23 giugno 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 15 giugno 2023
- La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
- [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare ha una clausola group by
- [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Test del numero di sottoquery scalari esteso con
decorrelateInnerQuery
disattivato. - Aggiornamenti della sicurezza del sistema operativo.
- 2 giugno 2023
- Il parser JSON in
failOnUnknownFields
modalità elimina un record inDROPMALFORMED
modalità e ha esito negativo direttamente inFAILFAST
modalità. - È stato risolto un problema nell'analisi dei dati salvati in JSON per evitare
UnknownFieldException
. - È stato risolto un problema nel caricatore automatico in cui i diversi formati di file di origine erano incoerenti quando lo schema specificato non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
- [SPARK-43404] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
- [SPARK-43413] Correzione del
IN
valore Null della sottoqueryListQuery
. - Aggiornamenti della sicurezza del sistema operativo.
- Il parser JSON in
- 17 maggio 2023
- Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati in modo da ridurre in modo preemptive le dimensioni del batch e vengono nuovamente abbassati nei tentativi di attività come rete di sicurezza finale.
- [SPARK-41520] Dividere
AND_OR
il modello di albero in modo da separareAND
eOR
. - [SPARK-43190]
ListQuery.childOutput
è ora coerente con l'output secondario. - Aggiornamenti della sicurezza del sistema operativo.
- 25 aprile 2023
- [SPARK-42928] Eseguire
resolvePersistentFunction
la sincronizzazione. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-42928] Eseguire
- 11 aprile 2023
- È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
- [SPARK-42937]
PlanSubqueries
ora imposta suInSubqueryExec#shouldBroadcast
true. - [SPARK-42967] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
- 29 marzo 2023
- [SPARK-42668] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider stop
- [SPARK-42635] Correggere il ...
- Aggiornamenti della sicurezza del sistema operativo.
- 14 marzo 2023
- [SPARK-41162] Correzione di anti-join e semi-join per il self-join con le aggregazioni
- [SPARK-33206] Correzione del calcolo del peso della cache dell'indice casuale per i file di indice di piccole dimensioni
- [SPARK-42484] Miglioramento del messaggio di
UnsafeRowUtils
errore - Correzioni varie.
- 28 febbraio 2023
- Supporto della colonna generata per date_format aaaa-MM-gg. Questa modifica supporta l'eliminazione della partizione per yyyy-MM-gg come date_format nelle colonne generate.
- Gli utenti possono ora leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
- Supporto della colonna generata per date_format aaaa-MM-gg. Questa modifica supporta l'eliminazione della partizione per yyyy-MM-gg come date_format nelle colonne generate.
- Aggiornamenti della sicurezza del sistema operativo.
- 16 febbraio 2023
- [SPARK-30220] Abilitare l'uso di sottoquery Exists/In all'esterno del nodo Filtro
- Aggiornamenti della sicurezza del sistema operativo.
- 31 gennaio 2023
- Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
- 18 gennaio 2023
- Il connettore Azure Synapse restituisce un messaggio di errore più descrittivo quando un nome di colonna non contiene caratteri validi, ad esempio spazi vuoti o punti e virgola. In questi casi, verrà restituito il messaggio seguente:
Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
. - [SPARK-38277] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
- [SPARK-41199] Correzione del problema relativo alle metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-usate
- [SPARK-41198] Correggere le metriche nella query di streaming con origine di streaming CTE e DSv1.
- [SPARK-41339] Chiudere e ricreare il batch di scrittura RocksDB invece di cancellare.
- [SPARK-41732] Applicare l'eliminazione basata su pattern ad albero per la regola SessionWindowing.
- Aggiornamenti della sicurezza del sistema operativo.
- Il connettore Azure Synapse restituisce un messaggio di errore più descrittivo quando un nome di colonna non contiene caratteri validi, ad esempio spazi vuoti o punti e virgola. In questi casi, verrà restituito il messaggio seguente:
- 29 novembre 2022
- Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le opzioni seguenti per controllare la gestione degli spazi vuoti:
csvignoreleadingwhitespace
, se impostato sutrue
, rimuove gli spazi vuoti iniziali dai valori durante le scritture quandotempformat
è impostato suCSV
oCSV GZIP
. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata sufalse
. Per impostazione predefinita, il valore ètrue
.csvignoretrailingwhitespace
, se impostato sutrue
, rimuove gli spazi vuoti finali dai valori durante le scritture quandotempformat
è impostato suCSV
oCSV GZIP
. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata sufalse
. Per impostazione predefinita, il valore ètrue
.
- È stato risolto un problema relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (
cloudFiles.inferColumnTypes
non erano impostate o impostate sufalse
) e gli oggetti annidati contenuti in JSON. - Aggiornamenti della sicurezza del sistema operativo.
- Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le opzioni seguenti per controllare la gestione degli spazi vuoti:
- 15 novembre 2022
- Aggiornamento di Apache commons-text alla versione 1.10.0.
- [SPARK-40646] L'analisi JSON per struct, mappe e matrici è stata corretta, quindi quando una parte di un record non corrisponde allo schema, il resto del record può comunque essere analizzato correttamente anziché restituire valori Null. Per acconsentire esplicitamente al comportamento migliorato, impostare su
spark.sql.json.enablePartialResults
true
. Il flag è disattivato per impostazione predefinita per mantenere il comportamento originale. - [SPARK-40292] Correggere i nomi delle colonne nella
arrays_zip
funzione quando si fa riferimento alle matrici da struct annidati - Aggiornamenti della sicurezza del sistema operativo.
- 1° novembre 2022
- È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata
_change_type
, ma il feed di dati di modifica era disattivato su tale tabella, i dati in tale colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione diMERGE
. - È stato risolto un problema relativo al caricatore automatico in cui un file può essere duplicato nello stesso micro batch quando
allowOverwrites
è abilitato - [SPARK-40697] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
- [SPARK-40596] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
- Aggiornamenti della sicurezza del sistema operativo.
- È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata
- 18 ottobre 2022
- Aggiornamenti della sicurezza del sistema operativo.
- 5 ottobre 2022
- [SPARK-40468] Correzione dell'eliminazione delle colonne in CSV quando
_corrupt_record
è selezionata. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-40468] Correzione dell'eliminazione delle colonne in CSV quando
- 22 settembre 2022
- Gli utenti possono impostare spark.conf.set(
spark.databricks.io.listKeysWithPrefix.azure.enabled
,true
) per riabilitare l'elenco predefinito per il caricatore automatico in ADLS Gen2. L'inserzione predefinita è stata disattivata in precedenza a causa di problemi di prestazioni, ma può aver causato un aumento dei costi di archiviazione per i clienti. - [SPARK-40315] Aggiungere hashCode() per Valore letterale di ArrayBasedMapData
- [SPARK-40213] Supportare la conversione di valori ASCII per i caratteri Latin-1
- [SPARK-40380] Correzione della riduzione costante di InvokeLike per evitare valori letterali non serializzabili incorporati nel piano
- [SPARK-38404] Migliorare la risoluzione CTE quando un CTE annidato fa riferimento a un CTE esterno
- [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
- [SPARK-39887] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
- Gli utenti possono impostare spark.conf.set(
- 6 settembre 2022
- [SPARK-40235] Usare il blocco interrompibile anziché sincronizzato in Executor.updateDependencies().
- [SPARK-40218] GROUPING edizione Standard TS deve mantenere le colonne di raggruppamento.
- [SPARK-39976] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra.
- [SPARK-40053] Aggiungere
assume
a casi di annullamento dinamici che richiedono l'ambiente di runtime Python. - [SPARK-35542] Correzione: il bucketizer creato per più colonne con parametri splitsArray, inputCols e outputCols non possono essere caricati dopo il salvataggio.
- [SPARK-40079] Aggiungere la convalida inputCols di Imputer per un caso di input vuoto.
- 24 agosto 2022
- [SPARK-39983] Non memorizzare nella cache le relazioni di trasmissione nonrializzate sul driver.
- [SPARK-39775] Disabilitare la convalida dei valori predefiniti durante l'analisi degli schemi Avro.
- [SPARK-39962] Applicare la proiezione quando gli attributi del gruppo sono vuoti
- [SPARK-37643] quando charVarcharAsString è true, per la query del predicato del tipo di dati char deve ignorare la regola rpadding.
- Aggiornamenti della sicurezza del sistema operativo.
- 9 agosto 2022
- [SPARK-39847] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
- [SPARK-39731] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMdd" con i criteri del parser di ora FIX
- Aggiornamenti della sicurezza del sistema operativo.
- 27 luglio 2022
- [SPARK-39625] Aggiungere Dataset.as(StructType).
- [SPARK-39689]Supportare 2 caratteri
lineSep
nell'origine dati CSV. - [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded deve essere thread-safe.
- [SPARK-39570] La tabella inline deve consentire espressioni con alias.
- [SPARK-39702] Ridurre il sovraccarico di memoria di TransportCipher$EncryptedMessage usando un byteRawChannel condiviso.
- [SPARK-39575] aggiungere ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer.
- [SPARK-39476] Disabilitare l'ottimizzazione del cast unwrap durante il cast da Long a Float/ Double o da Integer a Float.
- [SPARK-38868] Non propagare eccezioni dal predicato di filtro quando si ottimizzano i outer join.
- Aggiornamenti della sicurezza del sistema operativo.
- 20 luglio 2022
- Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
- [SPARK-39355] La colonna singola usa virgolette per costruire UnresolvedAttribute.
- [SPARK-39548] Comando CreateView con una query della clausola window premere una definizione di finestra errata non trovata.
- [SPARK-39419] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null.
- Disattivato l'uso del caricatore automatico delle API cloud predefinite per l'elenco di directory in Azure.
- Aggiornamenti della sicurezza del sistema operativo.
- 5 luglio 2022
- [SPARK-39376] Nascondere le colonne duplicate nell'espansione a stella dell'alias di sottoquery da NATURAL/USING JOIN
- Aggiornamenti della sicurezza del sistema operativo.
- 15 giugno 2022
- [SPARK-39283] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
- [SPARK-39285] Spark non deve controllare i nomi dei campi durante la lettura dei file.
- [SPARK-34096] Migliorare le prestazioni per nth_value ignorare i valori Null rispetto alla finestra di offset.
- [SPARK-36718] Correggere il
isExtractOnly
controllo in CollapseProject.
- 2 giugno 2022
- [SPARK-39093] Evitare l'errore di compilazione codegen durante la divisione degli intervalli di mese o degli intervalli di giorno per un integrale.
- [SPARK-38990] Evitare NullPointerException quando si valuta date_trunc/formato di troncamento come riferimento associato.
- Aggiornamenti della sicurezza del sistema operativo.
- 18 maggio 2022
- Corregge una potenziale perdita di memoria incorporata nel caricatore automatico.
- [SPARK-38918] L'eliminazione della colonna nidificata deve filtrare gli attributi che non appartengono alla relazione corrente.
- [SPARK-37593] Ridurre le dimensioni predefinite della pagina LONG_ARRAY_OFF edizione Standard T se vengono usati G1GC e ON_HEAP.
- [SPARK-39084] Correggere df.rdd.isEmpty() usando TaskContext per arrestare l'iteratore al completamento dell'attività.
- [SPARK-32268] Aggiungere ColumnPruning in injectBloomFilter.
- [SPARK-38974] Filtrare le funzioni registrate con un determinato nome di database nelle funzioni elenco.
- [SPARK-38931] Creare la directory dfs radice per RocksDBFileManager con un numero sconosciuto di chiavi nel primo checkpoint.
- Aggiornamenti della sicurezza del sistema operativo.
- 19 aprile 2022
- Aggiornamento di Java AWS SDK dalla versione 1.11.655 alla 1.12.1899.
- È stato risolto un problema relativo alle librerie con ambito notebook che non funzionano nei processi di streaming batch.
- [SPARK-38616] Tenere traccia del testo della query SQL in Catalyst TreeNode
- Aggiornamenti della sicurezza del sistema operativo.
- 6 aprile 2022
- Con questa versione sono ora disponibili le funzioni SPARK SQL seguenti:
timestampadd()
edateadd()
: aggiungere una durata dell'ora in un'unità specificata a un'espressione timestamp.timestampdiff()
edatediff()
: calcola la differenza di tempo tra due espressioni timestamp in un'unità specificata.
- Parquet-MR è stato aggiornato alla versione 1.12.2
- Supporto migliorato per schemi completi nei file Parquet
- [SPARK-38631] Usa l'implementazione basata su Java per annullare il tarring in Utils.unpack.
- [SPARK-38509][SPARK-38481] Cherry-pick tre
timestmapadd/diff
modifiche. - [SPARK-38523] Correzione del riferimento alla colonna di record danneggiata da CSV.
- [SPARK-38237] Consenti
ClusteredDistribution
di richiedere chiavi di clustering complete. - [SPARK-38437] Serializzazione leniente di datetime dall'origine dati.
- [SPARK-38180] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati.
- [SPARK-38155] Non consentire l'aggregazione distinta nelle sottoquery laterali con predicati non supportati.
- Aggiornamenti della sicurezza del sistema operativo.
- Con questa versione sono ora disponibili le funzioni SPARK SQL seguenti:
Databricks Runtime 9.1 LTS
Vedere Databricks Runtime 9.1 LTS.
- 9 aprile 2024
- Aggiornamenti della sicurezza del sistema operativo.
- 13 febbraio 2024
- [SPARK-46861] Evitare deadlock in DAGScheduler.
- Aggiornamenti della sicurezza del sistema operativo.
- 31 gennaio 2024
- Aggiornamenti della sicurezza del sistema operativo.
- 25 dicembre 2023
- Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
- [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
- [SPARK-39440] Aggiungere una configurazione per disabilitare la sequenza temporale degli eventi.
- [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
- 14 dicembre 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2023
- È stato installato un nuovo pacchetto per
pyarrow-hotfix
correggere una vulnerabilità pyArrow RCE. - [SPARK-45859] Oggetti UDF creati in
ml.functions
differita. - [SPARK-45544] Supporto SSL integrato in
TransportContext
. - [SPARK-45730] Vincoli temporali migliorati per
ReloadingX509TrustManagerSuite
. - Aggiornamenti della sicurezza del sistema operativo.
- È stato installato un nuovo pacchetto per
- 14 novembre 2023
- [SPARK-45545]
SparkTransportConf
SSLOptions
eredita al momento della creazione. - [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
- [SPARK-45427] Aggiunta delle impostazioni SSL RPC a
SSLOptions
eSparkTransportConf
. - [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con
TakeOrderedAndProjectExec
. - [SPARK-45541] Aggiunta di
SSLFactory
. - [SPARK-42205] Rimozione delle registrazioni accumulabili negli eventi stage e task start.
- Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-45545]
- 24 ottobre 2023
- [SPARK-45426] Aggiunta del supporto per
ReloadingX509TrustManager
. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-45426] Aggiunta del supporto per
- 13 ottobre 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 10 settembre 2023
- Correzioni varie.
- 30 agosto 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 15 agosto 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 23 giugno 2023
- La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
- Aggiornamenti della sicurezza del sistema operativo.
- 15 giugno 2023
- [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare ha una clausola group by.
- [SPARK-43156][SPARK-43098] Estendere il test di bug del numero di sottoquery scalari con
decorrelateInnerQuery
disattivato. - [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery.
- Aggiornamenti della sicurezza del sistema operativo.
- 2 giugno 2023
- Il parser JSON in
failOnUnknownFields
modalità elimina un record inDROPMALFORMED
modalità e ha esito negativo direttamente inFAILFAST
modalità. - È stato risolto un problema nell'analisi dei dati salvati in JSON per evitare
UnknownFieldException
. - È stato risolto un problema nel caricatore automatico in cui i diversi formati di file di origine erano incoerenti quando lo schema specificato non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
- [SPARK-37520] Aggiungere le
startswith()
funzioni stringa eendswith()
- [SPARK-43413] Correzione del
IN
valore Null della sottoqueryListQuery
. - Aggiornamenti della sicurezza del sistema operativo.
- Il parser JSON in
- 17 maggio 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 25 aprile 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 11 aprile 2023
- È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
- [SPARK-42967] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
- 29 marzo 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 14 marzo 2023
- [SPARK-42484] Messaggio di errore migliorato per
UnsafeRowUtils
. - Correzioni varie.
- [SPARK-42484] Messaggio di errore migliorato per
- 28 febbraio 2023
- Gli utenti possono ora leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
- Aggiornamenti della sicurezza del sistema operativo.
- 16 febbraio 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 31 gennaio 2023
- Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
- 18 gennaio 2023
- Aggiornamenti della sicurezza del sistema operativo.
- 29 novembre 2022
- È stato risolto un problema relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (
cloudFiles.inferColumnTypes
non erano impostate o impostate sufalse
) e gli oggetti annidati contenuti in JSON. - Aggiornamenti della sicurezza del sistema operativo.
- È stato risolto un problema relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (
- 15 novembre 2022
- Aggiornamento di Apache commons-text alla versione 1.10.0.
- Aggiornamenti della sicurezza del sistema operativo.
- Correzioni varie.
- 1° novembre 2022
- È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata
_change_type
, ma il feed di dati di modifica era disattivato su tale tabella, i dati in tale colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione diMERGE
. - È stato risolto un problema relativo al caricatore automatico in cui un file può essere duplicato nello stesso micro batch quando
allowOverwrites
è abilitato - [SPARK-40596] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
- Aggiornamenti della sicurezza del sistema operativo.
- È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata
- 18 ottobre 2022
- Aggiornamenti della sicurezza del sistema operativo.
- 5 ottobre 2022
- Correzioni varie.
- Aggiornamenti della sicurezza del sistema operativo.
- 22 settembre 2022
- Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco predefinito per il caricatore automatico in ADLS Gen2. L'inserzione predefinita è stata disattivata in precedenza a causa di problemi di prestazioni, ma può aver causato un aumento dei costi di archiviazione per i clienti.
- [SPARK-40315] Aggiungere hashCode() per Valore letterale di ArrayBasedMapData
- [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
- [SPARK-39887] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
- 6 settembre 2022
- [SPARK-40235] Usare il blocco interrompibile anziché sincronizzato in Executor.updateDependencies()
- [SPARK-35542] Correzione: Il bucketizer creato per più colonne con parametri splitsArray, inputCols e outputCols non possono essere caricati dopo il salvataggio
- [SPARK-40079] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto
- 24 agosto 2022
- [SPARK-39666] Usare UnsafeProjection.create per rispettare
spark.sql.codegen.factoryMode
expressionEncoder - [SPARK-39962] Applicare la proiezione quando gli attributi del gruppo sono vuoti
- Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-39666] Usare UnsafeProjection.create per rispettare
- 9 agosto 2022
- Aggiornamenti della sicurezza del sistema operativo.
- 27 luglio 2022
- Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
- [SPARK-39689] Supporto per 2 caratteri
lineSep
nell'origine dati CSV - [SPARK-39575] Aggiunto
ByteBuffer#rewind
dopoByteBuffer#get
inAvroDeserializer
. - [SPARK-37392] Correzione dell'errore di prestazioni per l'utilità di ottimizzazione catalizzatore.
- Aggiornamenti della sicurezza del sistema operativo.
- 13 luglio 2022
- [SPARK-39419]
ArraySort
genera un'eccezione quando il comparatore restituisce Null. - Disattivato l'uso del caricatore automatico delle API cloud predefinite per l'elenco di directory in Azure.
- Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-39419]
- 5 luglio 2022
- Aggiornamenti della sicurezza del sistema operativo.
- Correzioni varie.
- 15 giugno 2022
- [SPARK-39283] Correzione del deadlock tra
TaskMemoryManager
eUnsafeExternalSorter.SpillableIterator
.
- [SPARK-39283] Correzione del deadlock tra
- 2 giugno 2022
- [SPARK-34554] Implementare il
copy()
metodo inColumnarMap
. - Aggiornamenti della sicurezza del sistema operativo.
- [SPARK-34554] Implementare il
- 18 maggio 2022
- Correzione di una potenziale perdita di memoria incorporata nel caricatore automatico.
- Aggiornare la versione di AWS SDK dalla versione 1.11.655 alla versione 1.11.678.
- [SPARK-38918] L'eliminazione di colonne nidificate deve filtrare gli attributi che non appartengono alla relazione corrente
- [SPARK-39084] Correzione
df.rdd.isEmpty()
tramiteTaskContext
per arrestare l'iteratore al completamento dell'attività - Aggiornamenti della sicurezza del sistema operativo.
- 19 aprile 2022
- Aggiornamenti della sicurezza del sistema operativo.
- Correzioni varie.
- 6 aprile 2022
- [SPARK-38631] Usa l'implementazione basata su Java per annullare il tarring in Utils.unpack.
- Aggiornamenti della sicurezza del sistema operativo.
- 22 marzo 2022
- È stata modificata la directory di lavoro corrente dei notebook nei cluster a concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato nella home directory dell'utente. In precedenza, active directory era
/databricks/driver
. - [SPARK-38437] Serializzazione leniente di datetime da un'origine dati
- [SPARK-38180] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
- [SPARK-38155] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
- [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
- È stata modificata la directory di lavoro corrente dei notebook nei cluster a concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato nella home directory dell'utente. In precedenza, active directory era
- 14 marzo 2022
- [SPARK-38236] I percorsi di file assoluti specificati nella tabella create/alter vengono considerati come relativi
- [SPARK-34069] Interrompere il thread dell'attività se la proprietà
SPARK_JOB_INTERRUPT_ON_CANCEL
locale è impostata su true.
- 23 febbraio 2022
- [SPARK-37859] Le tabelle SQL create con JDBC con Spark 3.1 non sono leggibili con Spark 3.2.
- 8 febbraio 2022
- [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
- Aggiornamenti della sicurezza del sistema operativo.
- 1 febbraio 2022
- Aggiornamenti della sicurezza del sistema operativo.
- 26 gennaio 2022
- È stato risolto un problema per cui le transazioni simultanee nelle tabelle Delta potevano eseguire il commit in un ordine non serializzabile in determinate condizioni rare.
- È stato risolto un problema per cui il
OPTIMIZE
comando poteva non riuscire quando il dialetto SQL ANSI era abilitato.
- 19 gennaio 2022
- Correzioni secondarie e miglioramenti della sicurezza.
- Aggiornamenti della sicurezza del sistema operativo.
- 4 novembre 2021
- È stato risolto un problema che poteva causare l'esito negativo dei flussi structured streaming con un oggetto
ArrayIndexOutOfBoundsException
. - Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile
java.io.IOException: No FileSystem for scheme
o che potrebbe causare modifiche chesparkContext.hadoopConfiguration
non hanno effetto nelle query. - Apache Spark Connessione or per la condivisione delta è stato aggiornato alla versione 0.2.0.
- È stato risolto un problema che poteva causare l'esito negativo dei flussi structured streaming con un oggetto
- 20 ottobre 2021
- Aggiornamento del connettore BigQuery da 0.18.1 a 0.22.2. In questo modo viene aggiunto il supporto per il tipo BigNumeric.
Commenti e suggerimenti
https://aka.ms/ContentUserFeedback.
Presto disponibile: Nel corso del 2024 verranno gradualmente disattivati i problemi di GitHub come meccanismo di feedback per il contenuto e ciò verrà sostituito con un nuovo sistema di feedback. Per altre informazioni, vedereInvia e visualizza il feedback per