Aggiornamenti di manutenzione di Databricks Runtime

Questo articolo elenca gli aggiornamenti di manutenzione per le versioni supportate di Databricks Runtime. Per aggiungere un aggiornamento di manutenzione a un cluster esistente, riavviare il cluster. Per gli aggiornamenti di manutenzione nelle versioni di Databricks Runtime non supportate, vedere Aggiornamenti della manutenzione di Databricks Runtime (archiviati).

Note

Le versioni vengono distribuite in fasi. L'account Azure Databricks potrebbe non essere aggiornato per alcuni giorni dopo la data di rilascio iniziale.

Rilasci di Databricks Runtime

Aggiornamenti della manutenzione in base al rilascio:

• Databricks Runtime 17.3 LTS
• Databricks Runtime 17.2
• Databricks Runtime 17.1
• Databricks Runtime 17.0
• Databricks Runtime 16.4 LTS
• Databricks Runtime 16.2
• Databricks Runtime 15.4 LTS
• Databricks Runtime 14.3 LTS
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 17.3 LTS

Vedere Databricks Runtime 17.3 LTS.

• 9 dicembre 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.13 da 1.3.5 a 1.3.6
  • [SPARK-50906][SQL] Correzione del controllo di nullabilità Avro per i campi struct riordinati
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • [SPARK-54427][SQL] Consenti a ColumnarRow di chiamare copy con tipi varianti
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • [SPARK-52762][SDP] Aggiungere un messaggio PipelineAnalysisContext per supportare l'analisi della pipeline durante l'esecuzione delle query di Spark Connect
  • [SPARK-54156][PROTOBUF] Classificare gli errori per il fallimento del cast di ProtobufOptions
  • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere infra dal test precedente
  • [SPARK-54015][PYTHON] Allentare il requisito Py4J per py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54099][SQL] Il parser di varianti XML deve eseguire il fallback alla stringa in caso di errori di analisi decimale
  • [17.3 Backport][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Aggiungere una sola volta a Defineflow Proto
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • [SPARK-53729][PYTHON][CONNECT] Correzione della serializzazione di pyspark.sql.connect.window.WindowSpec
  • [SPARK-46679][SQL] Correzione per SparkUnsupportedOperationException Non trovato un codificatore del tipo T, quando si usa la classe Parameterized
  • [SPARK-53973][Avro] Classificare gli errori per il fallimento del cast booleano in AvroOptions
  • [SPARK-53794][SS] Aggiunta dell'opzione per limitare le eliminazioni per ogni operazione di manutenzione associata al provider di stato rocksdb
  • [SPARK-53908][CONNECT] Correzione delle osservazioni in Spark Connect con cache dei piani
  • [SPARK-53972][SS] Correzione della regressione del recentProgress delle query di streaming in pyspark classico
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 17.2

Vedere Databricks Runtime 17.2.

• 9 dicembre 2025
  • Le tabelle Delta partizionate avranno colonne di partizione materializzate nei file parquet di dati in futuro. Ciò consente una migliore sinergia con il modo in cui vengono gestite le tabelle Iceberg e UniForm e aumenta la compatibilità con i lettori esterni non Delta.
  • [SPARK-54427][SQL] Consenti a ColumnarRow di chiamare copy con tipi varianti
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • [SPARK-50906][SQL] Correzione del controllo di nullabilità Avro per i campi struct riordinati
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere infra dal test precedente
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • [SPARK-54099][SQL] Il parser di varianti XML deve eseguire il fallback alla stringa in caso di errori di analisi decimale
  • [SPARK-54015][PYTHON] Allentare il requisito Py4J per py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-52515]Approx_top_k con Apache DataSketches
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • [SPARK-53973][Avro] Classificare gli errori per il fallimento del cast booleano in AvroOptions
  • [SPARK-53972][SS] Correzione della regressione del recentProgress delle query di streaming in pyspark classico
  • [SPARK-53908][CONNECT] Correzione delle osservazioni in Spark Connect con cache dei piani
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 8 ottobre 2025
  • [SPARK-53555] Correzione: SparkML-connect non è in grado di caricare il modello sparkML (modalità legacy) salvato
  • [SPARK-53598][SQL] Verificare l'esistenza di numParts prima di leggere la proprietà della tabella di grandi dimensioni
  • [SPARK-53625][SS] Propagare le colonne di metadati tramite proiezioni per risolvere l'incompatibilità ApplyCharTypePadding
  • [SPARK-53568][CONNECT][PYTHON] Correzione di diversi piccoli bug nella logica di gestione degli errori del client Python spark Connect
  • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidata
  • [SPARK-53623][SQL] miglioramento nella lettura delle proprietà delle tabelle di grandi dimensioni…
  • [SPARK-53729][PYTHON][CONNECT] Correzione della serializzazione di pyspark.sql.connect.window.WindowSpec
  • [SPARK-53549][SS] Chiudere sempre l'allocatore Arrow al completamento del processo di richiesta dello stato della lista
  • Aggiornamenti della sicurezza del sistema operativo

• 10 settembre 2025
  • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
  • [SPARK-53362] [ML] [CONNECT] Correzione del bug del caricatore locale IDFModel
  • [SPARK-53382][SQL] Correzione del bug rCTE con ricorsione non valida
  • Correzione del test instabile per backport di [SPARK-53345]
  • [SPARK-49872][CORE] Rimuovere la limitazione della lunghezza della stringa JSON jackson
  • [SPARK-53423] [SQL] Spostare tutti i tag correlati al resolver a pass singolo in ResolverTag
  • [SPARK-53431][PYTHON] Correzione di Python UDTF con argomenti di tabella denominati nell'API DataFrame
  • [SPARK-53336] [ML] [CONNECT] Reimpostare MLCache.totalMLCacheSizeBytes quando MLCache.clear() viene chiamato
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitare interruzioni duplicate
  • [SPARK-53470][SQL] Le espressioni ExtractValue devono sempre eseguire il controllo dei tipi
  • Cherry pick delle migliorie per l'API Pandas su Spark secondo lo standard ANSI
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 17.1

Vedere Databricks Runtime 17.1.

• 9 dicembre 2025
  • Le tabelle Delta partizionate avranno colonne di partizione materializzate nei file parquet di dati in futuro. Ciò consente una migliore sinergia con il modo in cui vengono gestite le tabelle Iceberg e UniForm e aumenta la compatibilità con i lettori esterni non Delta.
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • [SPARK-50906][SQL] Correzione del controllo di nullabilità Avro per i campi struct riordinati
  • [SPARK-54427][SQL] Consenti a ColumnarRow di chiamare copy con tipi varianti
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54015][PYTHON] Allentare il requisito Py4J per py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-52515]Approx_top_k con Apache DataSketches
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere infra dal test precedente
  • [SPARK-54099][SQL] Il parser di varianti XML deve eseguire il fallback alla stringa in caso di errori di analisi decimale
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • [SPARK-53972][SS] Correzione della regressione del recentProgress delle query di streaming in pyspark classico
  • [SPARK-53908][CONNECT] Correzione delle osservazioni in Spark Connect con cache dei piani
  • [SPARK-53973][Avro] Classificare gli errori per il fallimento del cast booleano in AvroOptions
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 7 ottobre 2025
  • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidata
  • [SPARK-53549][SS] Chiudere sempre l'allocatore Arrow al completamento del processo di richiesta dello stato della lista
  • [SPARK-53568][CONNECT][PYTHON] Correzione di diversi piccoli bug nella logica di gestione degli errori del client Python spark Connect
  • [SPARK-53625][SS] Propagare le colonne di metadati tramite proiezioni per risolvere l'incompatibilità ApplyCharTypePadding
  • [SPARK-53598][SQL] Verificare l'esistenza di numParts prima di leggere la proprietà della tabella di grandi dimensioni
  • [SPARK-53623][SQL] miglioramento nella lettura delle proprietà delle tabelle di grandi dimensioni…
  • [SPARK-53555] Correzione: SparkML-connect non è in grado di caricare il modello sparkML (modalità legacy) salvato
  • [SPARK-53729][PYTHON][CONNECT] Correzione della serializzazione di pyspark.sql.connect.window.WindowSpec
  • Aggiornamenti della sicurezza del sistema operativo

• 16 settembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 9 settembre 2025
  • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
  • [SPARK-53362] [ML] [CONNECT] Correzione del bug del caricatore locale IDFModel
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitare interruzioni duplicate
  • [SPARK-53382][SQL] Correzione del bug rCTE con ricorsione non valida
  • [SPARK-53431][PYTHON] Correzione di Python UDTF con argomenti di tabella denominati nell'API DataFrame
  • [SPARK-53336] [ML] [CONNECT] Reimpostare MLCache.totalMLCacheSizeBytes quando MLCache.clear() viene chiamato
  • [SPARK-49872][CORE] Rimuovere la limitazione della lunghezza della stringa JSON jackson
  • Aggiornamenti della sicurezza del sistema operativo

• 25 agosto 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.13 da 1.3.3 a 1.3.5
  • [SPARK-52482][SQL][CORE] Migliorare la gestione delle eccezioni per la lettura di determinati file zstd danneggiati
  • [SPARK-53192][CONNECT] Memorizzare sempre nella cache un'origine dati nella cache dei piani spark Connect
  • Aggiornamenti della sicurezza del sistema operativo

• 14 agosto 2025
  • [SPARK-52833][SQL] Correzione VariantBuilder.appendFloat
  • [SPARK-52961][PYTHON] Correggi UDTF Python ottimizzato con Arrow con valutazione a 0 argomenti su join laterale
  • [SPARK-51505][SQL] Mostra sempre metriche dei numeri di partizione vuoti in AQEShuffleReadExec
  • [SPARK-52753][SQL] Rendere il file binario parseDataType compatibile con le versioni precedenti
  • [SPARK-52842][SQL] Nuove funzionalità e correzioni di bug per l'analizzatore a passaggio singolo
  • [SPARK-52960][SQL] Mostra stringa del sottoalbero in LogicalQueryStage toString
  • [SPARK-53054][CONNECT] Correzione della connessione. Comportamento del formato predefinito di DataFrameReader
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 17.0

Vedere Databricks Runtime 17.0.

• 9 dicembre 2025
  • Le tabelle Delta partizionate avranno colonne di partizione materializzate nei file parquet di dati in futuro. Ciò consente una migliore sinergia con il modo in cui vengono gestite le tabelle Iceberg e UniForm e aumenta la compatibilità con i lettori esterni non Delta.
  • Sia per il connettore Snowflake che per Snowflake Lakehouse Federation, TIMESTAMP_NTZ i valori letterali (timestamp senza fuso orario) non vengono più inseriti in Snowflake. Questa modifica impedisce gli errori di query causati dalla gestione del timestamp incompatibile e migliora l'affidabilità per le query interessate.
  • [SPARK-54427][SQL] Consenti a ColumnarRow di chiamare copy con tipi varianti
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54099][SQL] Il parser di varianti XML deve eseguire il fallback alla stringa in caso di errori di analisi decimale
  • [SPARK-54015][PYTHON] Allentare il requisito Py4J per py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere infra dal test precedente
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • [SPARK-53908][CONNECT] Correzione delle osservazioni in Spark Connect con cache dei piani
  • [SPARK-53972][SS] Correzione della regressione del recentProgress delle query di streaming in pyspark classico
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 7 ottobre 2025
  • [SPARK-53598][SQL] Verificare l'esistenza di numParts prima di leggere la proprietà della tabella di grandi dimensioni
  • [SPARK-53568][CONNECT][PYTHON] Correzione di diversi piccoli bug nella logica di gestione degli errori del client Python spark Connect
  • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidata
  • [SPARK-53549][SS] Chiudere sempre l'allocatore Arrow al completamento del processo di richiesta dello stato della lista
  • [SPARK-53623][SQL] miglioramento nella lettura delle proprietà delle tabelle di grandi dimensioni…
  • [SPARK-53729][PYTHON][CONNECT] Correzione della serializzazione di pyspark.sql.connect.window.WindowSpec
  • Aggiornamenti della sicurezza del sistema operativo

• 16 settembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 9 settembre 2025
  • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitare interruzioni duplicate
  • [SPARK-53336] [ML] [CONNECT] Reimpostare MLCache.totalMLCacheSizeBytes quando MLCache.clear() viene chiamato
  • [SPARK-49872][CORE] Rimuovere la limitazione della lunghezza della stringa JSON jackson
  • [SPARK-53431][PYTHON] Correzione di Python UDTF con argomenti di tabella denominati nell'API DataFrame
  • [SPARK-53382][SQL] Correzione del bug rCTE con ricorsione non valida
  • Aggiornamenti della sicurezza del sistema operativo

• 26 agosto 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.13 da 1.3.3 a 1.3.5
  • [SPARK-52482][SQL][CORE] Migliorare la gestione delle eccezioni per la lettura di determinati file zstd danneggiati
  • [SPARK-53192][CONNECT] Memorizzare sempre nella cache un'origine dati nella cache dei piani spark Connect
  • Aggiornamenti della sicurezza del sistema operativo

• 14 agosto 2025
  • [SPARK-51505][SQL] Mostra sempre metriche dei numeri di partizione vuoti in AQEShuffleReadExec
  • [SPARK-53054][CONNECT] Correzione della connessione. Comportamento del formato predefinito di DataFrameReader
  • [SPARK-52961][PYTHON] Correggi UDTF Python ottimizzato con Arrow con valutazione a 0 argomenti su join laterale
  • [SPARK-52833][SQL] Correzione VariantBuilder.appendFloat
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2025
  • [SPARK-51889][PYTHON][SS] Correzione di un bug per MapState clear() in PYTHON TWS
  • [SPARK-52753][SQL] Rendere il file binario parseDataType compatibile con le versioni precedenti
  • [SPARK-49428][SQL] Sposta il client Scala Connect dal Connettore a SQL
  • Aggiornamenti della sicurezza del sistema operativo

• 15 luglio 2025
  • Correzione di un problema di perdita di dati non deterministica quando si usa Spark Structured Streaming per trasmettere dati da Pulsar.
  • [SPARK-52430][SQL] Risolvere il bug riguardante la nullabilità di Union nei rCTEs
  • [SPARK-52503][SQL][CONNECT] Correzione drop quando la colonna di input non è esistente
  • [SPARK-52579][PYTHON] Configurare il dump periodico di traceback per i processi Python
  • [SPARK-52450] Migliorare le prestazioni della copia profonda dello schema
  • [SPARK-52599][PYTHON] Supporto del dump di traceback periodico nei ruoli di lavoro sul lato driver
  • [SPARK-52553][SS] Correzione di NumberFormatException durante la lettura del log delle modifiche v1
  • Aggiornamenti della sicurezza del sistema operativo

• 28 maggio 2025
  • Librerie Python aggiornate:
    • Google-auth dalla versione 2.40.0 alla versione 2.40.1
    • mlflow-skinny da 2.22.0 a 3.0.0
    • opentelemetry-api dalla versione 1.32.1 alla versione 1.33.0
    • opentelemetry-sdk dalla versione 1.32.1 alla versione 1.33.0
    • opentelemetry-semantic-conventions da 0.53b1 a 0.54b0
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.13 da 1.3.0 a 1.3.3
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • Correggere la limitazione che la cloud_files_state funzione TVF non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline
  • Risolve i problemi di autorizzazione del catalogo Unity per le query sulle visualizzazioni temporanee.
  • Flag modificato nella versione 17.0.1, rilascio del flag SAFE in tutte le aree di lavoro per la versione 17.0.0
  • Supporto per Delta Sharing nell'uso della cache di I/O Parquet di Spark per le query che usano URL prefirmati (disponibile a partire dalla versione 17.0.1).
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • Il connettore Teradata passerà ora un TMODE=ANSI al driver per impostazione predefinita. Ciò significa che tutti i confronti di stringhe eseguiti tramite il sistema "Lakehouse Federation" faranno distinzione tra maiuscole e minuscole.
  • [SPARK-51921][SS][PYTHON] Usare il tipo long per la durata del TTL in millisecondi in transformWithState
  • [SPARK-52259][ML][CONNECT] Correzione della compatibilità binaria della classe Param
  • [SPARK-52195][PYTHON][SS] Correzione del problema di eliminazione della colonna di stato iniziale per Python TWS
  • [SPARK-52057] [ML] [CONNECT] Raccogli messaggi di avviso di limite dimensione dell'albero per il client
  • [SPARK-52051] [ML] [CONNECT] Abilitare il riepilogo del modello quando è abilitato il controllo memoria
  • [SPARK-51606][CONNECT] Aggiungere SPARK_IDENT_STRING quando si arresta il server Spark Connect
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement non deve accedere dinamicamente a SQLConf
  • [SPARK-52232][SQL] Correzione di query non deterministiche per produrre risultati diversi in ogni passaggio
  • [SPARK-52013] [CONNECT] [ML] Rimuovere SparkConnectClient.ml_caches
  • [SPARK-52353][SQL] Correzione di bug con vincoli errati in LogicalRDDs che fanno riferimento a iterazioni precedenti in UnionLoop
  • [SPARK-52130] [ML] [CONNECT] Perfezionare il messaggio di errore e nascondere la configurazione spark interna
  • [SPARK-52470][ML][CONNECT] Supporto del trasferimento del riepilogo del modello
  • [SPARK-51935][SQL] Correggi il comportamento pigro degli iteratori in df.collect() interpretato
  • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore per l'origine dati dei file
  • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
  • [SPARK-52010] Non generare documenti API per le classi interne
  • [SPARK-52049] Correzione del bug che gli attributi XML non possono essere analizzati come Variant
  • [SPARK-52312][SQL] Ignora V2WriteCommand durante la memorizzazione nella cache del DataFrame
  • [SPARK-52229][ML][CONNECT] Migliorare la stima delle dimensioni del modello
  • [SPARK-50815][PYTHON] Correzione della conversione da dati locali varianti a freccia
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve mantenere l'ID del piano
  • [SPARK-51981][SS] Aggiungere JobTags a queryStartedEvent
  • [FIX REVERT][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Abilitare l'override del limite del livello di ricorsione nella sintassi
  • [SPARK-52101][SQL] Disabilitare l'uso forzato inline per rCTEs
  • [SPARK-52099][SQL] Abilitare l'override del limite di righe di ricorsione aggiungendo un LIMIT operatore
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 16.4 LTS

Vedere Databricks Runtime 16.4 LTS.

• 9 dicembre 2025
  • Le tabelle Delta partizionate avranno colonne di partizione materializzate nei file parquet di dati in futuro. Ciò consente una migliore sinergia con il modo in cui vengono gestite le tabelle Iceberg e UniForm e aumenta la compatibilità con i lettori esterni non Delta.
  • Sia per il connettore Snowflake che per Snowflake Lakehouse Federation, TIMESTAMP_NTZ i valori letterali (timestamp senza fuso orario) non vengono più inseriti in Snowflake. Questa modifica impedisce gli errori di query causati dalla gestione del timestamp incompatibile e migliora l'affidabilità per le query interessate.
  • [SPARK-54427][SQL] Consenti a ColumnarRow di chiamare copy con tipi varianti
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54099][SQL] Il parser di varianti XML deve eseguire il fallback alla stringa in caso di errori di analisi decimale
  • [SPARK-54015][PYTHON] Allentare il requisito Py4J per py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere infra dal test precedente
  • [SPARK-54156][PROTOBUF] Classificare gli errori per il fallimento del cast di ProtobufOptions
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • Librerie R aggiornate:
    • freccia da 16.1.0 a 21.0.0
  • [SPARK-53973][Avro] Classificare gli errori per il fallimento del cast booleano in AvroOptions
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 7 ottobre 2025
  • [SPARK-53568][CONNECT][PYTHON] Correzione di diversi piccoli bug nella logica di gestione degli errori del client Python spark Connect
  • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidata
  • [SPARK-53623][SQL] miglioramento nella lettura delle proprietà delle tabelle di grandi dimensioni…
  • [SPARK-53598][SQL] Verificare l'esistenza di numParts prima di leggere la proprietà della tabella di grandi dimensioni
  • [SPARK-53549][SS] Chiudere sempre l'allocatore Arrow al completamento del processo di richiesta dello stato della lista
  • Aggiornamenti della sicurezza del sistema operativo

• 16 settembre 2025
  • Il connettore Snowflake usa ora la INFORMATION_SCHEMA tabella anziché il SHOW SCHEMAS comando per elencare gli schemi. Questa modifica rimuove il limite di 10.000 schemi dell'approccio precedente e migliora il supporto per i database con un numero elevato di schemi.
  • Aggiornamenti della sicurezza del sistema operativo

• 9 settembre 2025
  • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
  • Correzione di un errore temporaneo nel caricatore automatico che potrebbe causare l'esito negativo dei processi
  • [SPARK-49872][CORE] Rimuovere la limitazione della lunghezza della stringa JSON jackson
  • [SPARK-51821][CORE] Call interrupt() without holding uninterruptibleLock per evitare possibili deadlock
  • Aggiornamenti della sicurezza del sistema operativo

• 26 agosto 2025
  • Librerie Java aggiornate:
    • (solo Scala 2.12) io.delta.delta-sharing-client_2.12 da 1.2.7 a 1.2.8
    • (Solo Scala 2.13) io.delta.delta-sharing-client_2.13 da 1.2.7 a 1.2.8
  • [SPARK-52482][SQL][CORE] Migliorare la gestione delle eccezioni per la lettura di determinati file zstd danneggiati
  • [SPARK-53192][CONNECT] Memorizzare sempre nella cache un'origine dati nella cache dei piani spark Connect
  • Aggiornamenti della sicurezza del sistema operativo

• 14 agosto 2025
  • [SPARK-51011][CORE] Aggiungere la registrazione per verificare se un'attività verrà interrotta quando viene terminata
  • [SPARK-52833][SQL] Correzione VariantBuilder.appendFloat
  • [SPARK-51505][SQL] Mostra sempre metriche dei numeri di partizione vuoti in AQEShuffleReadExec
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2025
  • [SPARK-52753][SQL] Rendere il file binario parseDataType compatibile con le versioni precedenti
  • Aggiornamenti della sicurezza del sistema operativo

• 15 luglio 2025
  • Correzione di un problema di perdita di dati non deterministica quando si usa Spark Structured Streaming per trasmettere dati da Pulsar.
  • [SPARK-52579][PYTHON] Configurare il dump periodico di traceback per i processi Python
  • [SPARK-52553][SS] Correzione di NumberFormatException durante la lettura del log delle modifiche v1
  • [SPARK-52450] Migliorare le prestazioni della copia profonda dello schema
  • [SPARK-52503][SQL][CONNECT] Correzione drop quando la colonna di input non è esistente
  • [SPARK-52599][PYTHON] Supporto del dump di traceback periodico nei ruoli di lavoro sul lato driver
  • Aggiornamenti della sicurezza del sistema operativo

• 1° luglio 2025
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement non deve accedere dinamicamente a SQLConf
  • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore per l'origine dati dei file
  • [SPARK-52312][SQL] Ignora V2WriteCommand durante la memorizzazione nella cache del DataFrame
  • Aggiornamenti della sicurezza del sistema operativo

• 17 giugno 2025
  • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
  • Risolti i problemi di autorizzazione del catalogo Unity per le query sulle viste temporanee.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve mantenere l'ID del piano
  • Aggiornamenti della sicurezza del sistema operativo

• 3 giugno 2025
  • [SPARK-52195][PYTHON][SS] Correzione del problema di eliminazione della colonna di stato iniziale per Python TWS
  • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
  • Varie correzioni di bug.

• 7 maggio 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.13 da 1.2.3 a 1.2.7
    • org.apache.avro.avro da 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc da 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred da 1.11.3 a 1.11.4
  • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
  • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
  • Prima di questa modifica, gli spazi vuoti iniziali e le schede nei percorsi nell'espressione variant_get venivano ignorati con Photon disabilitato. Ad esempio, select variant_get(parse_json('{"key": "value"}'), '$['key']') non sarebbe efficace nell'estrazione del valore di "key". Tuttavia, gli utenti saranno in grado di estrarre tali chiavi ora.
  • [SPARK-51935][SQL] Correggi il comportamento pigro degli iteratori in df.collect() interpretato
  • [SPARK-51921][SS][PYTHON] Usare il tipo long per la durata del TTL in millisecondi in transformWithState
  • [SPARK-51940][SS] Aggiungere un'interfaccia per la gestione dei metadati del checkpoint di streaming
  • [SPARK-52049] Correzione del bug che gli attributi XML non possono essere analizzati come Variant
  • [SPARK-51904][SS] Rimozione dei metadati asincroni per StateSchemaV3 e ignorare i file non batch durante l'elenco dei file OperatorMetadata
  • [SPARK-51869][SS] Creare una classificazione degli errori utente all'interno delle UDF per Scala TransformWithState
  • [SPARK-51889][PYTHON][SS] Correzione di un bug per MapState clear() in PYTHON TWS
  • [SPARK-51922] [SS] Correzione di UTFDataFormatException generata da StateStoreChangelogReaderFactory per v1
  • [SPARK-51848][SQL] Correzione del parsing di record XML con schema definito di array/struct/mappa di varianti
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 16.2

Vedere Databricks Runtime 16.2 (EoS).

• 14 agosto 2025
  • [SPARK-51011][CORE] Aggiungere la registrazione per verificare se un'attività verrà interrotta quando viene terminata
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 15 luglio 2025
  • Correzione di un problema di perdita di dati non deterministica quando si usa Spark Structured Streaming per trasmettere dati da Pulsar.
  • [SPARK-52553][SS] Correzione di NumberFormatException durante la lettura del log delle modifiche v1
  • Aggiornamenti della sicurezza del sistema operativo

• 1° luglio 2025
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement non deve accedere dinamicamente a SQLConf
  • [SPARK-52312][SQL] Ignora V2WriteCommand durante la memorizzazione nella cache del DataFrame
  • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore per l'origine dati dei file
  • Aggiornamenti della sicurezza del sistema operativo

• 17 giugno 2025
  • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve mantenere l'ID del piano
  • Aggiornamenti della sicurezza del sistema operativo

• 3 giugno 2025
  • Librerie Python aggiornate:
    • crittografia da 41.0.7, 41.0.7 a 42.0.5, 42.0.5
    • imballaggio dal 24.0, 24.1 al 24.1
    • platformdirs dalle versioni 3.10.0 e 4.2.2 a 3.10.0
    • pyparsing da 3.0.9, 3.1.1 a 3.0.9
    • Aggiunto il comando automatico 2.2.2
    • Aggiunto backports.tarfile 1.2.0
    • Aggiunta importlib_resources 6.4.0
    • Aggiunto inflect 7.3.1
    • Aggiunta di jaraco.context 5.3.0
    • Aggiunto jaraco.functools 4.0.1
    • Aggiunto jaraco.text 3.12.1
    • Aggiunto more-itertools 10.3.0
    • Aggiunta pip 24.2
    • Aggiunto setuptools 74.0.0
    • Aggiunta di tomli 2.0.1
    • Aggiunta di typeguard 4.3.0
    • Aggiunto wcwidth 0.2.5
    • Aggiunta ruota 0.43.0
    • Rimosso la distribuzione 1.9.0
    • Rimozione delle informazioni sulla distribuzione 1.7+build1
    • Rimosso python-apt 2.7.7+ubuntu4
  • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
  • [SPARK-52195][PYTHON][SS] Correzione del problema di eliminazione della colonna di stato iniziale per Python TWS
  • Aggiornamenti della sicurezza del sistema operativo

• 20 maggio 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.12 da 1.2.6 a 1.2.7
    • org.apache.avro.avro da 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc da 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred da 1.11.3 a 1.11.4
  • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
  • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
  • Prima di questa modifica, gli spazi vuoti iniziali e le schede nei percorsi nell'espressione variant_get venivano ignorati con Photon disabilitato. Ad esempio, select variant_get(parse_json('{"key": "value"}'), '$[' key']') non sarebbe efficace nell'estrazione del valore di "key". Tuttavia, gli utenti saranno in grado di estrarre tali chiavi ora.
  • [SPARK-51935][SQL] Correggi il comportamento pigro degli iteratori in df.collect() interpretato
  • [SPARK-51921][SS][PYTHON] Usare il tipo long per la durata del TTL in millisecondi in transformWithState
  • Aggiornamenti della sicurezza del sistema operativo

• 22 aprile 2025
  • [SPARK-51717][SS][RocksDB] Risoluzione della corruzione dovuta a discrepanza di SST che può verificarsi per il secondo snapshot creato per una nuova query
  • Ripristina "[SPARK-47895][SQL] group by alias deve essere idempotente" nelle versioni 15.4, 16.0, 16.1, 16.2 e 16.3
  • Aggiornamenti della sicurezza del sistema operativo

• 9 aprile 2025

  • Librerie Java aggiornate:
    • Rimosso io.starburst.openjson.openjson 1.8-e.12
    • Rimosso io.starburst.openx.data.json-serde 1.3.9-e.12
    • Rimosso io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] group by alias deve essere idempotente
  • [SPARK-51505][SQL] Registrare le metriche dei numeri di partizione vuoti in AQE coalesce
  • [SPARK-51624][SQL] Propagare i metadati di GetStructField in CreateNamedStruct.dataType
  • [SPARK-51589][SQL] Correzione di un bug di piccole dimensioni che non riesce a verificare la presenza di funzioni di aggregazione in |>SELECT
  • Aggiornamenti della sicurezza del sistema operativo

• 11 marzo 2025

  • Databricks Runtime 14.3 LTS e versioni successive includono una correzione per un problema che ha causato incompatibilità binarie con il codice che ha creato un'istanza di una classe SparkListenerApplicationEnd ed è stato compilato contro Apache Spark. Questa incompatibilità ha causato l'unione di SPARK-46399 in Apache Spark. Questa unione includeva una modifica che aggiungeva un argomento predefinito al costruttore SparkListenerApplicationEnd. Per ripristinare la compatibilità binaria, questa correzione aggiunge un singolo costruttore di argomenti alla classe SparkListenerApplicationEnd.
  • Ripristina "[SPARK-48273][SQL] Risolvi la riscrittura tardiva di PlanWithUnresolvedIdentifier"
  • [SPARK-50985][SS] Classificare l'errore di mancata corrispondenza degli offset temporali di Kafka invece di un'asserzione e sollevare un'eccezione per il server mancante in KafkaTokenProvider.
  • [SPARK-51065][SQL] Vietare l'uso di uno schema non annullabile quando è utilizzata la codifica Avro per TransformWithState
  • [SPARK-51237][SS] Aggiungere i dettagli delle API per le nuove API di supporto transformWithState secondo necessità
  • [SPARK-51222][SQL] Ottimizza ReplaceCurrentLike
  • [SPARK-51351][SS] Non materializzare l'output nel processo Python per TWS
  • [SPARK-51084][SQL] Assegnare la classe di errore appropriata per negativeScaleNotAllowedError
  • [SPARK-51249][SS] Correzione della codifica NoPrefixKeyStateEncoder e Avro per usare il numero corretto di byte di versione
  • Aggiornamenti della sicurezza del sistema operativo

• 5 febbraio 2025

  • Questa versione include una correzione per un problema che interessa la conversione di determinati tipi di dati durante la serializzazione delle colonne di dati XML salvate. I tipi di dati interessati sono date, timestamp non NTZ e decimali quando prefersDecimal è abilitato. Per altre informazioni sulla colonna di dati salvata, vedere Qual è la colonna di dati salvata?.
  • [SPARK-50770][SS] Rimozione dell'ambito di pacchetto per le API dell'operatore transformWithState
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 15.4 LTS

Vedi Databricks Runtime 15.4 LTS.

• 9 dicembre 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.12 da 1.1.7 a 1.1.9
  • [SPARK-54427][SQL] Consenti a ColumnarRow di chiamare copy con tipi varianti
  • [SPARK-52579][PYTHON] Configurare il dump periodico di traceback per i processi Python
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere infra dal test precedente
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • Librerie R aggiornate:
    • freccia da 14.0.0.2 a 21.0.0
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • I criteri di fotonizzazione della scansione sono aggiornati per consentire la fotonizzazione della scansione quando è necessaria la verifica del checksum.
    Determinare se è necessaria la verifica del checksum proviene ora dalla conf hadoop anziché da SQLConf.
  • Aggiornamenti della sicurezza del sistema operativo

• 7 ottobre 2025
  • [SPARK-53568][CONNECT][PYTHON] Correzione di diversi piccoli bug nella logica di gestione degli errori del client Python spark Connect
  • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidata
  • Varie correzioni di bug.

• 16 settembre 2025
  • Il connettore Snowflake usa ora la INFORMATION_SCHEMA tabella anziché il SHOW SCHEMAS comando per elencare gli schemi. Questa modifica rimuove il limite di 10.000 schemi dell'approccio precedente e migliora il supporto per i database con un numero elevato di schemi.
  • [SPARK-50870][SQL] Aggiungere il fuso orario durante il cast al timestamp in V2ScanRelationPushDown
  • Aggiornamenti della sicurezza del sistema operativo

• 9 settembre 2025
  • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
  • Correzione di un errore temporaneo nel caricatore automatico che potrebbe causare l'esito negativo dei processi
  • [SPARK-51821][CORE] Call interrupt() without holding uninterruptibleLock per evitare possibili deadlock
  • [SPARK-49872][CORE] Rimuovere la limitazione della lunghezza della stringa JSON jackson
  • Aggiornamenti della sicurezza del sistema operativo

• 26 agosto 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.12 da 1.1.6 a 1.1.7
  • [SPARK-52482][SQL][CORE] Migliorare la gestione delle eccezioni per la lettura di determinati file zstd danneggiati
  • [SPARK-53192][CONNECT] Memorizzare sempre nella cache un'origine dati nella cache dei piani spark Connect
  • Aggiornamenti della sicurezza del sistema operativo

• 14 agosto 2025
  • [SPARK-51011][CORE] Aggiungere la registrazione per verificare se un'attività verrà interrotta quando viene terminata
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 21 luglio 2025

  • Per il calcolo abilitato per Photon o usa la CPU basata su Arm64, mlflow-skinny viene aggiornato alla versione 2.19.0, ray viene aggiornato alla versione 2.37.0 e databricks-feature-engineering viene aggiornato a 0.8.0.

• 15 luglio 2025

  • Correzione di un problema di perdita di dati non deterministica quando si usa Spark Structured Streaming per trasmettere dati da Pulsar.
  • [SPARK-52503][SQL][CONNECT] Correzione drop quando la colonna di input non è esistente

• 1° luglio 2025
  • Librerie Java aggiornate:
    • org.mlflow.mlflow-spark_2.12 da 2.9.1 a 2.11.3
    • Rimosso com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
    • Rimosso org.slf4j.slf4j-simple 1.7.25
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement non deve accedere dinamicamente a SQLConf
  • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore per l'origine dati dei file
  • [SPARK-52312][SQL] Ignora V2WriteCommand durante la memorizzazione nella cache del DataFrame
  • Aggiornamenti della sicurezza del sistema operativo

• 17 giugno 2025
  • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
  • [SPARK-49646][SQL] correggere la decorrelazione della sottoquery per le operazioni di unione/set quando parentOuterReferences contiene riferimenti non coperti in collectedChildOuterReferences
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve mantenere l'ID del piano

• 3 giugno 2025
  • Librerie Python aggiornate:
    • crittografia dalla versione 3.4.8, 41.0.3 alla versione 41.0.3
    • filelock da 3.13.4, da 3.15.4 a 3.13.4
    • importlib-metadata dalla versione 4.6.4, 6.0.0 alla 6.0.0
    • platformdirs dalla versione 3.10.0, dalla 3.11.0 alla versione 3.10.0
    • pyparsing da 2.4.7, 3.0.9 a 3.0.9
    • zipp da 1.0.0 e 3.11.0 a 3.11.0
    • Aggiunto pip 23.2.1
    • Aggiunto setuptools 68.0.0
    • Aggiunto wcwidth 0.2.5
    • Aggiunta ruota 0.38.4
    • Rimossa la distribuzione 1.7.0
    • Rimosso il pacchetto distro-info 1.1+ubuntu0.2
    • Rimosso python-apt 2.4.0+ubuntu4
  • Librerie Java aggiornate:
    • com.github.fommil.netlib.native_ref-java dalla versione 1.1, 1.1-natives alla versione 1.1, 1.1
    • com.github.fommil.netlib.native_system-java dalla versione 1.1, 1.1 nativa alla versione 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 da 1.1-natives a 1.1
    • "com.github.fommil.netlib.netlib-native_system-linux-x86_64" da "1.1-natives" a "1.1"
    • io.netty.netty-tcnative-boringssl-static da 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll da 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue da 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 a 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core da 1.9.2-shaded-protobuf a 1.9.2
    • org.apache.orc.orc-mapreduce da 1.9.2-shaded-protobuf a 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider da 1.6.2-linux-x86_64 a 1.6.2
  • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
  • Aggiornamenti della sicurezza del sistema operativo

• 20 maggio 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.12 da 1.1.5 a 1.1.6
  • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
  • Prima di questa modifica, gli spazi vuoti iniziali e le schede nei percorsi nell'espressione variant_get venivano ignorati con Photon disabilitato. Ad esempio, select variant_get(parse_json('{"key": "value"}'), '$['key']') non sarebbe efficace nell'estrazione del valore di "key". Tuttavia, gli utenti saranno in grado di estrarre tali chiavi ora.
  • [SPARK-51935][SQL] Correggi il comportamento pigro degli iteratori in df.collect() interpretato
  • Aggiornamenti della sicurezza del sistema operativo

• 22 aprile 2025
  • Librerie Java aggiornate:
    • org.apache.avro.avro da 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc da 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred da 1.11.3 a 1.11.4
  • Ripristina "[SPARK-47895][SQL] group by alias deve essere idempotente" nelle versioni 15.4, 16.0, 16.1, 16.2 e 16.3
  • [SPARK-50682][SQL] L'alias interno deve essere canonizzato
  • Aggiornamenti della sicurezza del sistema operativo

• 9 aprile 2025
  • (Modifica comportamentale) Per applicare patch di sicurezza critiche, la versione predefinita di Python viene aggiornata a Python 3.11.11 da Python 3.11.0rc1. Questo aggiornamento potrebbe influire su alcuni carichi di lavoro in esecuzione in Databricks Runtime 15.4 LTS, ad esempio i carichi di lavoro che usano la serializzazione Python per archiviare e ripristinare lo stato tra esecuzioni o carichi di lavoro che vengono aggiunti alla versione 3.11.0 di Python.
  • Librerie Java aggiornate:
    • Rimosso io.starburst.openjson.openjson 1.8-e.12
    • Rimosso io.starburst.openx.data.json-serde 1.3.9-e.12
    • Rimosso io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] group by alias deve essere idempotente
  • [SPARK-51624][SQL] Propagare i metadati di GetStructField in CreateNamedStruct.dataType
  • Aggiornamenti della sicurezza del sistema operativo

• 31 marzo 2025
  • Per il calcolo non abilitato per Photon, databricks-feature-engineering viene aggiornato alla versione 0.8.0. Per il calcolo abilitato per Photon, databricks-feature-engineering rimane a 0.6.0.

• 11 marzo 2025

  • Databricks Runtime 14.3 LTS e versioni successive includono una correzione per un problema che ha causato incompatibilità binarie con il codice che ha creato un'istanza di una classe SparkListenerApplicationEnd ed è stato compilato contro Apache Spark. Questa incompatibilità ha causato l'unione di SPARK-46399 in Apache Spark. Questa unione includeva una modifica che aggiungeva un argomento predefinito al costruttore SparkListenerApplicationEnd. Per ripristinare la compatibilità binaria, questa correzione aggiunge un singolo costruttore di argomenti alla classe SparkListenerApplicationEnd.
  • [SPARK-50985][SS] Classificare l'errore di mancata corrispondenza degli offset temporali di Kafka invece di un'asserzione e sollevare un'eccezione per il server mancante in KafkaTokenProvider.
  • [SPARK-50791][SQL] Correggere NPE nella gestione degli errori dello State Store
  • [SPARK-50310][PYTHON] Migliorare le prestazioni delle colonne quando DQC è disabilitato
  • [SPARK-51222][SQL] Ottimizza ReplaceCurrentLike
  • [SPARK-49525][SS][CONNECT] Miglioramento secondario del log per il ListenerBus delle query di streaming sul lato server
  • [SPARK-51084][SQL] Assegnare la classe di errore appropriata per negativeScaleNotAllowedError
  • Aggiornamenti della sicurezza del sistema operativo

• 11 febbraio 2025

  • Questa versione include una correzione per un problema che interessa la conversione di determinati tipi di dati durante la serializzazione delle colonne di dati XML salvate. I tipi di dati interessati sono date, timestamp non NTZ e decimali quando prefersDecimal è abilitato. Per altre informazioni sulla colonna di dati salvata, vedere Qual è la colonna di dati salvata?.
  • [SPARK-50492][SS] Correggere java.util.NoSuchElementException quando la colonna dell'ora dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
  • Aggiornamenti della sicurezza del sistema operativo
  • Per il calcolo non abilitato per Photon, mlflow-skinny viene aggiornato alla versione 2.19.0. Per il calcolo abilitato per Photon, mlflow-skinny rimane alla versione 2.13.1.

• 10 dicembre 2024
  • Ora l'istruzione USE CATALOG supporta la clausola IDENTIFIER. Con questo supporto, è possibile parametrizzare il catalogo corrente in base a una variabile stringa o a un marcatore di parametro.
  • Questa versione include una correzione per un problema che potrebbe causare l'eliminazione della chiave primaria su una tabella Delta in alcuni casi particolari legati alla compattazione automatica in background.
  • Con questa versione, le dimensioni della cache usate da un'unità SSD in un nodo di calcolo di Databricks si espandono dinamicamente fino alle dimensioni iniziali dell'unità SSD e si riducono quando necessario, fino al spark.databricks.io.cache.maxDiskUsage limite. Vedi Ottimizza le prestazioni con la memorizzazione nella cache in Azure Databricks.
  • Il pacchetto pyodbc viene aggiornato dalla versione 4.0.38 alla versione 4.0.39. Questa modifica è necessaria perché è stato rilevato un bug nella versione 4.0.38 e tale versione è stata rimossa da PyPI.
  • [SPARK-50329][SQL] correzione di InSet$toString
  • [SPARK-47435][SQL] Correzione del problema di overflow di MySQL UNSIGNED TINYINT
  • [SPARK-49757][SQL] Supporto dell'espressione IDENTIFIER nell'istruzione SETCATALOG
  • [SPARK-50426][PYTHON] Evitare la ricerca di origini dati Python statiche quando si usano origini dati Predefinite o Java
  • [SPARK-48863][SQL] Correggere ClassCastException durante l'analisi di JSON con "spark.sql.json.enablePartialResults" abilitato
  • [SPARK-50310][PYTHON] Aggiungere un flag per disabilitare DataFrameQueryContext per PySpark
  • [15.3-15.4] [SPARK-50034][CORE] Correggere il problema di errata segnalazione degli errori fatali come eccezioni non rilevate in SparkUncaughtExceptionHandler
  • Aggiornamenti della sicurezza del sistema operativo
• 26 novembre 2024
  • Con questa versione è ora possibile eseguire una query sulla funzione vector_search usando query_text per l'input di testo o query_vector per l'incorporamento dell'input.
  • È ora possibile impostare un timeout per le query spark Connect usando la proprietà di configurazione spark spark.databricks.execution.timeout. Per i notebook in esecuzione nel calcolo serverless, il valore predefinito è 9000 (secondi). I processi in esecuzione nel calcolo serverless e nel calcolo con modalità di accesso standard non hanno un timeout a meno che questa proprietà di configurazione non sia impostata. Un'esecuzione che dura più a lungo del timeout specificato genera un errore QUERY_EXECUTION_TIMEOUT_EXCEEDED.
  • [SPARK-50322][SQL] Correggere l'identificatore parametrizzato in una sottoquery
  • [SPARK-49615] [ML] Far sì che la convalida dello schema del dataset di tutti i trasformatori di feature ML sia conforme alla configurazione "spark.sql.caseSensitive".
  • [SPARK-50124][SQL] LIMIT/OFFSET deve mantenere l'ordinamento dei dati
  • Aggiornamenti della sicurezza del sistema operativo

• 5 novembre 2024
  • (Modifica che causa un'interruzione) In Databricks Runtime 15.4 LTS e versioni successive, la gestione delle espressioni regolari in Photon viene aggiornata in modo che corrisponda al comportamento della gestione delle espressioni regolari di Apache Spark. In precedenza, le funzioni di espressione regolare eseguite da Photon, ad esempio split() e regexp_extract(), accettano alcune espressioni regolari rifiutate dal parser Spark. Per mantenere la coerenza con Apache Spark, le query Photon avranno ora esito negativo per le espressioni regolari considerate da Spark non valide. A causa di questa modifica, è possibile che vengano visualizzati errori se il codice Spark include espressioni regolari non valide. Ad esempio, l'espressione split(str_col, '{'), che contiene una parentesi graffa non corrispondente ed è stata accettata in precedenza da Photon, ora ha esito negativo. Per correggere questa espressione, è possibile utilizzare il carattere di escape per la parentesi graffa: split(str_col, '\\{'). Il comportamento di Photon e Spark differisce anche per alcune espressioni regolari corrispondenti a caratteri non ASCII. Viene aggiornato anche in modo che Photon corrisponda al comportamento di Apache Spark.
  • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute in relazione all'output del nodo figlio.
  • [SPARK-49867][SQL] Migliorare il messaggio di errore quando l'indice è fuori dai limiti durante la chiamata a GetColumnByOrdinal
  • [SPARK-49863][SQL] Correggere NormalizeFloatingNumbers per preservare la nullabilità degli struct annidati
  • [SPARK-49829] Rivedere l'ottimizzazione sull'aggiunta dell'input alla memoria di stato nel join di flussi (correzione per garantire la correttezza)
  • [SPARK-49905] Usare ShuffleOrigin dedicato per l'operatore stateful per evitare che lo shuffle venga modificato da AQE
  • [SPARK-46632][SQL] Correzione dell'eliminazione della sottoespressione quando le espressioni ternarie equivalenti hanno figli diversi.
  • [SPARK-49443][SQL][PYTHON] Implementare l'espressione to_variant_object e fare in modo che le espressioni schema_of_variant stampino OBJECT per gli oggetti Variant
  • [SPARK-49615] Correzione di bug: rendere la convalida dello schema della colonna ml conforme alla configurazione spark spark.sql.caseSensitive.

• 22 ottobre 2024
  • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute in relazione all'output del nodo figlio.
  • [SPARK-49867][SQL] Migliorare il messaggio di errore quando l'indice è fuori dai limiti durante la chiamata a GetColumnByOrdinal
  • [SPARK-49863][SQL] Correggere NormalizeFloatingNumbers per preservare la nullabilità degli struct annidati
  • [SPARK-49829] Rivedere l'ottimizzazione sull'aggiunta dell'input alla memoria di stato nel join di flussi (correzione per garantire la correttezza)
  • [SPARK-49905] Usare ShuffleOrigin dedicato per l'operatore stateful per evitare che lo shuffle venga modificato da AQE
  • [SPARK-46632][SQL] Correzione dell'eliminazione della sottoespressione quando le espressioni ternarie equivalenti hanno figli diversi.
  • [SPARK-49443][SQL][PYTHON] Implementare l'espressione to_variant_object e fare in modo che le espressioni schema_of_variant stampino OBJECT per gli oggetti Variant
  • [SPARK-49615] Correzione di bug: rendere la convalida dello schema della colonna ml conforme alla configurazione spark spark.sql.caseSensitive.
• 10 ottobre 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
  • [SPARK-49688][CONNECT] Correzione di un conflitto di dati tra interrupt e piano di esecuzione
  • [BACKPORT] [SPARK-49474][SS] Classificare la classe di errore per l'errore della funzione utente FlatMapGroupsWithState
  • [SPARK-49460][SQL] Seguito: correzione del potenziale rischio NPE
• 25 settembre 2024
  • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
  • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
  • [SPARK-49492][CONNECT] Ritentativo di connessione su un ExecutionHolder inattivo
  • [SPARK-49458][CONNECT][PYTHON] Specificare l'ID di sessione lato server tramite ReattachExecute
  • [SPARK-49017][SQL] L'istruzione Insert ha esito negativo quando vengono usati più parametri
  • [SPARK-49451] Consenti chiavi duplicate in parse_json.
  • Varie correzioni di bug.
• 17 settembre 2024
  • [SPARK-48463][ML] Consentire a Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor di supportare colonne di input annidate
  • [SPARK-49409][CONNECT] Modificare il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Supportare percorsi di tipo Windows in ArtifactManager
  • Annulla “[SPARK-48482][PYTHON] dropDuplicates e dropDuplicatesWithinWatermark devono accettare argomenti di lunghezza variabile”
  • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi della corruzione dello shuffle
  • [SPARK-49366][CONNECT] Considerare il nodo Union come foglia nella risoluzione delle colonne del dataframe
  • [SPARK-49018][SQL] Risolve il problema di approx_count_distinct che non funziona correttamente con le regole di confronto.
  • [SPARK-49460][SQL] Rimuovere cleanupResource() da EmptyRelationExec
  • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
  • [SPARK-49336][CONNECT] Limitare il livello di annidamento quando si tronca il messaggio di protobuf
• 29 agosto 2024
  • L'output di un'istruzione SHOW CREATE TABLE include ora tutti i filtri di riga o le maschere di colonna definite in una vista materializzata o in una tabella di streaming. Vedi SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtri di riga e maschere di colonna.
  • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni dello streaming.
  • [SPARK-48941][SPARK-48970] Correzioni per il backport del writer/reader ML
  • [SPARK-49074][SQL] Correzione della variante con df.cache()
  • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
  • [SPARK-48955][SQL] Includere le modifiche di ArrayCompact nella versione 15.4
  • [SPARK-48937][SQL] Aggiungere il supporto per la collazione nelle espressioni stringa StringToMap
  • [SPARK-48929] Correzione dell'errore interno di visualizzazione e pulizia del contesto di eccezione del parser
  • [SPARK-49125][SQL] Consenti nomi di colonna duplicati nella scrittura CSV
  • [SPARK-48934][SS] Tipi datetime Python convertiti in modo errato nel impostare il timeout in applyInPandasWithState
  • [SPARK-48843] Impedire un ciclo infinito con BindParameters
  • [SPARK-48981] Correggere il metodo simpleString di StringType in pyspark per le collazioni
  • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari alternativi rispetto a quelli di default JVM
  • [SPARK-48896][SPARK-48909][SPARK-48883] Ripristino delle correzioni del modulo di scrittura ML di Spark
  • [SPARK-48725][SQL] Integrare CollationAwareUTF8String.lowerCaseCodePoints nelle espressioni di stringa
  • [SPARK-48978][SQL] Implementare un percorso rapido ASCII nel supporto di collazione per UTF8_LCASE
  • [SPARK-49047][PYTHON][CONNECT] Troncare il messaggio per la registrazione
  • [SPARK-49146][SS] Spostare gli errori di asserzione correlati alla filigrana mancante nelle query di streaming in modalità append al framework degli errori.
  • [SPARK-48977][SQL] Ottimizzare la ricerca di stringhe con la collation UTF8_LCASE
  • [SPARK-48889][SS] testStream per scaricare gli archivi di stato prima di terminare
  • [SPARK-48463] Rendere StringIndexer in grado di supportare colonne di input annidate
  • [SPARK-48954] try_mod() sostituisce try_remainder()
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 14.3 LTS

Consulta Databricks Runtime 14.3 LTS.

• 9 dicembre 2025
  • [SPARK-52579][PYTHON] Configurare il dump periodico di traceback per i processi Python
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere infra dal test precedente
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • Librerie R aggiornate:
    • freccia da 12.0.1 a 21.0.0
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 7 ottobre 2025
  • [SPARK-53568][CONNECT][PYTHON] Correzione di diversi piccoli bug nella logica di gestione degli errori del client Python spark Connect
  • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidata
  • Varie correzioni di bug.

• 16 settembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 9 settembre 2025
  • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
  • [SPARK-49872][CORE] Rimuovere la limitazione della lunghezza della stringa JSON jackson
  • Aggiornamenti della sicurezza del sistema operativo

• 26 agosto 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.12 da 1.1.6 a 1.1.7
  • [SPARK-52482][SQL][CORE] Migliorare la gestione delle eccezioni per la lettura di determinati file zstd danneggiati
  • Aggiornamenti della sicurezza del sistema operativo

• 14 agosto 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 15 luglio 2025
  • [SPARK-52503][SQL][CONNECT] Correzione drop quando la colonna di input non è esistente
  • Varie correzioni di bug.

• 1° luglio 2025
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
  • [SPARK-52521][SQL] Right#replacement non deve accedere dinamicamente a SQLConf
  • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore per l'origine dati dei file
  • Aggiornamenti della sicurezza del sistema operativo

• 17 giugno 2025
  • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
  • [SPARK-49646][SQL] correggere la decorrelazione della sottoquery per le operazioni di unione/set quando parentOuterReferences contiene riferimenti non coperti in collectedChildOuterReferences

• 3 giugno 2025
  • Librerie Python aggiornate:
    • crittografia da 3.4.8, 39.0.1 a 39.0.1
    • platformdirs dalla 2.6.2 alla 2.5.2
    • pyparsing da 2.4.7, 3.0.9 a 3.0.9
    • Aggiunta di pip 22.3.1
    • Setuptools 65.6.3 aggiunto
    • Aggiunta di tomli 2.0.1
    • Aggiunto wcwidth 0.2.5
    • Aggiunta ruota 0.38.4
    • Rimossa la distribuzione 1.7.0
    • Rimosso il pacchetto distro-info 1.1+ubuntu0.2
    • Rimosso python-apt 2.4.0+ubuntu4
  • Librerie Java aggiornate:
    • com.github.fommil.netlib.native_ref-java dalla versione 1.1, 1.1-natives alla versione 1.1, 1.1
    • com.github.fommil.netlib.native_system-java dalla versione 1.1, 1.1 nativa alla versione 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 da 1.1-natives a 1.1
    • "com.github.fommil.netlib.netlib-native_system-linux-x86_64" da "1.1-natives" a "1.1"
    • io.netty.netty-tcnative-boringssl-static da 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll da 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue da 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 a 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core da 1.9.2-shaded-protobuf a 1.9.2
    • org.apache.orc.orc-mapreduce da 1.9.2-shaded-protobuf a 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider aggiornamento da versione 1.6.1-linux-x86_64 a versione 1.6.1
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve mantenere l'ID del piano
  • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
  • Aggiornamenti della sicurezza del sistema operativo

• 20 maggio 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-client_2.12 da 1.1.5 a 1.1.6
  • [SPARK-51935][SQL] Correggi il comportamento pigro degli iteratori in df.collect() interpretato
  • Aggiornamenti della sicurezza del sistema operativo

• 22 aprile 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 9 aprile 2025

  • [Modifica comportamento] Le operazioni vacuum eseguono ora controlli del protocollo writer simili ad altre operazioni, impedendo operazioni di pulizia impreviste nelle tabelle con funzionalità più recenti quando vengono eseguite da versioni precedenti di Databricks Runtime non compatibili.
  • [SPARK-51624][SQL] Propagare i metadati di GetStructField in CreateNamedStruct.dataType
  • Aggiornamenti della sicurezza del sistema operativo

• 11 marzo 2025

  • Databricks Runtime 14.3 LTS e versioni successive includono una correzione per un problema che ha causato incompatibilità binarie con il codice che ha creato un'istanza di una classe SparkListenerApplicationEnd ed è stato compilato contro Apache Spark. Questa incompatibilità ha causato l'unione di SPARK-46399 in Apache Spark. Questa unione includeva una modifica che aggiungeva un argomento predefinito al costruttore SparkListenerApplicationEnd. Per ripristinare la compatibilità binaria, questa correzione aggiunge un singolo costruttore di argomenti alla classe SparkListenerApplicationEnd.
  • [SPARK-50791][SQL] Correggere NPE nella gestione degli errori dello State Store
  • [SPARK-50705][SQL] Rendere QueryPlan senza blocchi
  • [SPARK-49525][SS][CONNECT] Miglioramento secondario del log per il ListenerBus delle query di streaming sul lato server
  • Aggiornamenti della sicurezza del sistema operativo

• 11 febbraio 2025

  • Questa versione include una correzione per un problema che interessa la conversione di determinati tipi di dati durante la serializzazione delle colonne di dati XML salvate. I tipi di dati interessati sono date, timestamp non NTZ e decimali quando prefersDecimal è abilitato. Per altre informazioni sulla colonna di dati salvata, vedere Qual è la colonna di dati salvata?.
  • [SPARK-50492][SS] Correggere java.util.NoSuchElementException quando la colonna dell'ora dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
  • [SPARK-51084][SQL] Assegnare la classe di errore appropriata per negativeScaleNotAllowedError
  • Aggiornamenti della sicurezza del sistema operativo

• 10 dicembre 2024
  • Questa versione include una correzione per un problema che potrebbe causare l'eliminazione della chiave primaria su una tabella Delta in alcuni casi particolari legati alla compattazione automatica in background.
  • [SPARK-50329][SQL] correzione di InSet$toString
  • Aggiornamenti della sicurezza del sistema operativo
• 26 novembre 2024
  • [SPARK-49615] [ML] Far sì che la convalida dello schema del dataset di tutti i trasformatori di feature ML sia conforme alla configurazione "spark.sql.caseSensitive".
  • Aggiornamenti della sicurezza del sistema operativo
• 5 novembre 2024
  • [SPARK-48843] Impedire un ciclo infinito con BindParameters
  • [SPARK-49829] Rivedere l'ottimizzazione sull'aggiunta dell'input alla memoria di stato nel join di flussi (correzione per garantire la correttezza)
  • [SPARK-49863][SQL] Correggere NormalizeFloatingNumbers per preservare la nullabilità degli struct annidati
  • [BACKPORT] [SPARK-49326][SS] Classificare la classe di errore per l'errore della funzione utente nel sink Foreach
  • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute in relazione all'output del nodo figlio.
  • [SPARK-46632][SQL] Correzione dell'eliminazione della sottoespressione quando le espressioni ternarie equivalenti hanno figli diversi.
  • [SPARK-49905] Usare ShuffleOrigin dedicato per l'operatore stateful per evitare che lo shuffle venga modificato da AQE
  • Aggiornamenti della sicurezza del sistema operativo
• 22 ottobre 2024
  • [SPARK-48843] Impedire un ciclo infinito con BindParameters
  • [SPARK-49863][SQL] Correggere NormalizeFloatingNumbers per preservare la nullabilità degli struct annidati
  • [SPARK-49905] Usare ShuffleOrigin dedicato per l'operatore stateful per evitare che lo shuffle venga modificato da AQE
  • [SPARK-46632][SQL] Correzione dell'eliminazione della sottoespressione quando le espressioni ternarie equivalenti hanno figli diversi.
  • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute in relazione all'output del nodo figlio.
  • [BACKPORT] [SPARK-49326][SS] Classificare la classe di errore per l'errore della funzione utente nel sink Foreach
  • [SPARK-49829] Rivedere l'ottimizzazione sull'aggiunta dell'input alla memoria di stato nel join di flussi (correzione per garantire la correttezza)
  • Aggiornamenti della sicurezza del sistema operativo
• 10 ottobre 2024
  • [BACKPORT] [SPARK-49474][SS] Classificare la classe di errore per l'errore della funzione utente FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
  • [SPARK-49688][CONNECT] Correzione di un conflitto di dati tra interrupt e piano di esecuzione
• 25 settembre 2024
  • [SPARK-48810][CONNECT] L'API di sessione stop() deve essere idempotente e non avere esito negativo se la sessione è già chiusa dal server
  • [SPARK-48719][SQL] Correzione del bug di calcolo di 'RegrS...
  • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
  • [SPARK-49628][SQL] ConstantFolding deve copiare un'espressione con stato prima di valutare
  • [SPARK-49492][CONNECT] Ritentativo di connessione su un ExecutionHolder inattivo
  • Aggiornamenti della sicurezza del sistema operativo
• 17 settembre 2024
  • [SPARK-49336][CONNECT] Limitare il livello di annidamento quando si tronca il messaggio di protobuf
  • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi della corruzione dello shuffle
  • [SPARK-48463][ML] Consentire a Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor di supportare colonne di input annidate
  • [SPARK-49526][CONNECT] Fornire supporto per percorsi in stile Windows in ArtifactManager
  • [SPARK-49409][CONNECT] Modificare il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49366][CONNECT] Considerare il nodo Union come foglia nella risoluzione delle colonne del dataframe
• 29 agosto 2024
  • [SPARK-49146][SS] Spostare gli errori di asserzione correlati alla filigrana mancante nelle query di streaming in modalità append al framework degli errori.
  • [SPARK-48862][PYTHON][CONNECT] Evitare di chiamare _proto_to_string quando il livello INFO non è abilitato
  • [SPARK-49263][CONNECT] Client Python Spark Connect: gestire in modo coerente le opzioni del lettore di DataFrame booleani
• 14 agosto 2024
  • [SPARK-48941][SPARK-48970] Correzioni per il backport del writer/reader ML
  • [SPARK-48706][PYTHON] Le UDF Python nelle funzioni di ordine superiore non devono generare un errore interno
  • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
  • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
  • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari alternativi rispetto a quelli di default JVM
  • [SPARK-48934][SS] Tipi datetime Python convertiti in modo errato nel impostare il timeout in applyInPandasWithState
• 1 agosto 2024
  • Questa versione include la correzione di un bug per le classi ColumnVector e ColumnarArray nell'interfaccia Spark Java. Prima di questa correzione, un ArrayIndexOutOfBoundsException potrebbe essere generato o potrebbero essere restituiti dati non corretti quando un'istanza di una di queste classi conteneva valori null.
  • Nei calcoli serverless per i notebook e le attività, la modalità SQL ANSI è abilitata per impostazione predefinita. Consultare i parametri di configurazione supportati di Spark.
  • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni dello streaming.
  • L'output di un'istruzione SHOW CREATE TABLE include ora tutti i filtri di riga o le maschere di colonna definite in una vista materializzata o in una tabella di streaming. Vedi SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtri di riga e maschere di colonna.
  • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni dello streaming.
  • L'output di un'istruzione SHOW CREATE TABLE include ora tutti i filtri di riga o le maschere di colonna definite in una vista materializzata o in una tabella di streaming. Vedi SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtri di riga e maschere di colonna.
  • [SPARK-48896][SPARK-48909][SPARK-48883] Ripristino delle correzioni del modulo di scrittura ML di Spark
  • [SPARK-48889][SS] testStream per scaricare gli archivi di stato prima di terminare
  • [SPARK-48705][PYTHON] Usare in modo esplicito worker_main quando inizia con pyspark
  • [SPARK-48047][SQL] Ridurre l’utilizzo elevato di memoria dei tag TreeNode vuoti
  • [SPARK-48544][SQL] Ridurre la pressione della memoria dei set di bit TreeNode vuoti
  • [SPARK-46957][CORE] I file shuffle migrati in fase di decommissioning dovrebbero poter essere ripuliti dall'executor
  • [SPARK-48463] Rendere StringIndexer in grado di supportare colonne di input annidate
  • [SPARK-47202][PYTHON] Correggi errori di battitura che interrompono i datetime con tzinfo
  • [SPARK-47713][SQL][CONNECT] Correggere un errore di self-join
  • Aggiornamenti della sicurezza del sistema operativo
• 11 luglio 2024
  • (Modifica del comportamento) I DataFrame memorizzati nella cache contro le fonti della tabella Delta vengono invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un dataframe.
  • Il driver JDBC Snowflake viene aggiornato alla versione 3.16.1.
  • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
  • Nei calcoli serverless per i notebook e le attività, la modalità SQL ANSI è abilitata per impostazione predefinita. Consultare i parametri di configurazione supportati di Spark.
  • Per ignorare le partizioni non valide durante la lettura dei dati, le origini dati basate su file, ad esempio Parquet, ORC, CSV o JSON, possono impostare l'opzione ignoreInvalidPartitionPaths dell'origine dati su true. Ad esempio: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…). È possibile usare anche la configurazione SQL spark.sql.files.ignoreInvalidPartitionPaths. Tuttavia, l'opzione origine dati ha la precedenza sulla configurazione SQL. Per impostazione predefinita, il valore è false.
  • [SPARK-48648][PYTHON][CONNECT] Rendere SparkConnectClient.tags correttamente thread-local
  • [SPARK-48445][SQL] Non includere UDF con elementi figli di calcolo intensivo
  • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
  • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
  • [SPARK-48503][SQL] Correzione di sottoquery scalari invalide con group-by su colonne non equivalenti che erano state erroneamente consentite.
  • [SPARK-48100][SQL] Correzione dei problemi di ignorare i campi della struttura annidata non selezionati nello schema
  • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
  • [SPARK-48252][SQL] Aggiornare CommonExpressionRef quando necessario
  • [SPARK-48475][PYTHON] Ottimizza _get_jvm_function in PySpark.
  • [SPARK-48292][CORE] Ripristinare [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortire la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
  • Aggiornamenti della sicurezza del sistema operativo
• 17 giugno 2024
  • applyInPandasWithState() è disponibile sulle risorse computazionali con la modalità di accesso standard.
  • Corregge un bug in cui l'ottimizzazione della finestra di classificazione usando Photon TopK gestisce erroneamente le partizioni con struct.
  • [SPARK-48310][PYTHON][CONNECT] Le proprietà memorizzate nella cache devono restituire copie
  • [SPARK-48276][PYTHON][CONNECT] Aggiungere il metodo __repr__ mancante per SQLExpression
  • [SPARK-48294][SQL] Gestione dei caratteri minuscoli in nestedTypeMissingElementTypeError
  • Aggiornamenti della sicurezza del sistema operativo
• 21 maggio 2024
  • (Modifica del comportamento) dbutils.widgets.getAll() è ora supportato per ottenere tutti i valori del widget in un notebook.
  • Correzione di un bug nella funzione try_divide() in cui gli input contenenti decimali generavano eccezioni impreviste.
  • [SPARK-48056][CONNECT][PYTHON] Eseguire di nuovo il piano se viene generato un errore di SESSION_NOT_FOUND e non è stata ricevuta alcuna risposta parziale
  • [SPARK-48146][SQL] Correzione della funzione di aggregazione nel figlio dell'espressione With nell'asserzione
  • [SPARK-47986][CONNECT][PYTHON] Impossibile creare una nuova sessione quando la sessione predefinita viene chiusa dal server
  • [SPARK-48180][SQL] Migliorare l'errore quando la chiamata UDTF con arg TABLE dimentica le parentesi intorno a più espressioni PARTITION/ORDER BY
  • [SPARK-48016][SQL] Correzione di un bug nella funzione try_divide quando ha decimali
  • [SPARK-48197][SQL] Evitare l'errore di asserzione per la funzione lambda non valida
  • [SPARK-47994][SQL] Correzione di un bug relativo al pushdown del filtro di colonna CASE WHEN in SQLServer.
  • [SPARK-48173][SQL] CheckAnalysis deve visualizzare l'intero piano di query
  • [SPARK-48105][SS] Correggere la condizione di competizione tra la disattivazione dell'archivio dello stato e la creazione di snapshot
  • Aggiornamenti della sicurezza del sistema operativo

• 9 maggio 2024
  • (Modifica del comportamento) applyInPandas E mapInPandas i tipi UDF sono ora supportati nel calcolo in modalità di accesso condiviso che esegue Databricks Runtime 14.3 LTS e versioni successive.
  • [SPARK-47739][SQL] Registra tipo avro logico
  • [SPARK-47941] [SS][Connect] Propagare gli errori di inizializzazione del worker ForeachBatch agli utenti per PySpark.
  • [SPARK-48010][SQL] Evitare chiamate ripetute a conf.resolver in resolveExpression
  • [SPARK-48044][PYTHON][CONNECT] Memorizzare nella cache DataFrame.isStreaming
  • [SPARK-47956][SQL] Verifica di coerenza per il riferimento LCA non risolto
  • [SPARK-47543][CONNECT][PYTHON] Inferire un dict come MapType da un DataFrame Pandas per consentire la creazione di un DataFrame
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] Utilizzare un callback asincrono per la pulizia dopo l'esecuzione
  • [SPARK-47764][CORE][SQL] Pulire le dipendenze shuffle secondo ShuffleCleanupMode
  • [SPARK-48018][SS] Correzione dell'errore causato dal groupId nullo che causa un errore di parametro mancante durante il lancio di KafkaException.couldNotReadOffsetRange
  • [SPARK-47839][SQL] Correzione del bug di aggregazione in RewriteWithExpression
  • [SPARK-47371] [SQL] XML: ignorare i tag di riga trovati in CDATA
  • [SPARK-47895][SQL] il group by all dovrebbe essere idempotente
  • [SPARK-47973][CORE] Registra il sito di chiamata in SparkContext.stop() e successivamente in SparkContext.assertNotStopped()
  • Aggiornamenti della sicurezza del sistema operativo

• 25 aprile 2024
  • [SPARK-47543][CONNECT][PYTHON] Inferire dict come MapType a partire dal DataFrame di Pandas per consentire l'implementazione del DataFrame
  • [SPARK-47694][CONNECT] Rendere configurabili le dimensioni massime dei messaggi sul lato client
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Convalidare il nome della colonna con lo schema memorizzato nella cache
  • [SPARK-47862][PYTHON] [CONNECT] Correzione della generazione di file proto
  • Annulla “[SPARK-47543][CONNECT][PYTHON] Inferendo come dict dal DataFrame Pandas per consentire la creazione del DataFrame”
  • [SPARK-47704][SQL] L'analisi JSON ha esito negativo con "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults è abilitato
  • [SPARK-47812][CONNECT] Supporto alla serializzazione di SparkSession per il worker di ForEachBatch
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introdurre la cache dei piani in SparkConnectPlanner per migliorare le prestazioni delle richieste di analisi
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite non riesce a causa di un piano non valido
  • Aggiornamenti della sicurezza del sistema operativo
• 11 aprile 2024
  • (modifica del comportamento) Per garantire un comportamento coerente tra i tipi di calcolo, le UDF PySpark sui sistemi di calcolo con modalità di accesso standard ora corrispondono al comportamento delle UDF sui cluster senza isolamento e su quelli assegnati. Questo aggiornamento include le modifiche seguenti che potrebbero interrompere il codice esistente:
    • Le funzioni definite dall'utente con un tipo restituito string non convertono più in modo implicito i valori non-string in valori string. In precedenza, le UDF con un tipo restituito di str avrebbero eseguito il wrapping del valore restituito con una funzione str() indipendentemente dal tipo di dati effettivo del valore restituito.
    • Le funzioni definite dall'utente con i tipi di ritorno timestamp non applicano più implicitamente una conversione a timestamp con timezone.
    • Le configurazioni del cluster Spark spark.databricks.sql.externalUDF.* non si applicano più agli UDF di PySpark nel calcolo con modalità di accesso standard.
    • La configurazione spark.databricks.safespark.externalUDF.plan.limit del cluster Spark non interessa più le UDF di PySpark, eliminando la limitazione dell'Anteprima Pubblica di 5 UDF per query per le UDF di PySpark.
    • La configurazione del cluster Spark spark.databricks.safespark.sandbox.size.default.mib non si applica più agli UDF PySpark nel calcolo con modalità di accesso standard. Viene invece utilizzata la memoria disponibile nel sistema. Per limitare la memoria delle UDF in PySpark, utilizzare spark.databricks.pyspark.udf.isolation.memoryLimit con un valore minimo di 100m.
  • Il tipo di dati TimestampNTZ è ora supportato come colonna di clustering con il clustering liquido. Vedere Usare clustering liquido per le tabelle.
  • [SPARK-47511][SQL] Standardizzare le espressioni 'With' riassegnando gli ID
  • [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
  • [SPARK-46990][SQL] Correggere il caricamento di file Avro vuoti emessi da event-hubs
  • [SPARK-47638][PS][CONNECT] Saltare la verifica dei nomi di colonna in PS
  • Aggiornamenti della sicurezza del sistema operativo
• 14 marzo 2024
  • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
  • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
  • [SPARK-47145][SQL] Passare l'identificatore di tabella all'esecuzione della scansione della sorgente di dati per riga per la strategia V2.
  • [SPARK-47044][SQL] Aggiungere query eseguite per origini dati esterne JDBC per spiegare l'output
  • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
  • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
  • [SPARK-47121][CORE] Evitare RejectedExecutionExceptions durante l'arresto del StandaloneSchedulerBackend
  • Annullare “[SPARK-46861][CORE] Evitare il deadlock in DAGScheduler”
  • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
  • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier deve includere altre espressioni nella struttura dell'espressione
  • [SPARK-47129][CONNECT][SQL] Impostare correttamente il piano di connessione della cache ResolveRelations
  • [SPARK-47241][SQL] Risolvere i problemi relativi all'ordine delle regole per ExtractGenerator
  • [SPARK-47035][SS][CONNECT] Protocollo per il listener sul lato client
  • Aggiornamenti della sicurezza del sistema operativo
• 29 febbraio 2024
  • È stato risolto un problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
  • La creazione di uno schema con un percorso definito richiede ora che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
  • [SPARK-47071][SQL] Integrare l'espressione With se contiene un'espressione esplicita
  • [SPARK-47059][SQL] Collegare il contesto di errore per il comando ALTER COLUMN v1
  • [SPARK-46993][SQL] Correzione del folding delle costanti per le variabili di sessione
  • Aggiornamenti della sicurezza del sistema operativo
• 3 gennaio 2024
  • [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
  • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
  • [SPARK-46954] XML: eseguire il wrapping di InputStreamReader con BufferedReader.
  • [SPARK-46655] Saltare il rilevamento del contesto della query nei metodi DataFrame.
  • [SPARK-44815] Cache df.schema per evitare le RPC extra.
  • [SPARK-46952] XML: limita le dimensioni del record danneggiato.
  • [SPARK-46794] Rimuovere subquery dai vincoli di LogicalRDD.
  • [SPARK-46736] mantenere il campo messaggio vuoto nel connettore protobuf.
  • [SPARK-45182] Ignorare il completamento dell'attività dalla vecchia fase dopo aver riprovato la fase padre indeterminata, come stabilito dal checksum.
  • [SPARK-46414] Usare prependBaseUri per eseguire il rendering delle importazioni javascript.
  • [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendone la durata di TaskInfo.accumulables().
  • [SPARK-46861] Evitare il deadlock in DAGScheduler.
  • [SPARK-46954] XML: Ottimizzare la ricerca dell'indice dello schema.
  • [SPARK-46676] dropDuplicatesWithinWatermark non dovrebbe fallire durante la canonicalizzazione del piano.
  • [SPARK-46644] Modificare l'aggiunta e l'unione in SQLMetric per l’uso di isZero.
  • [SPARK-46731] Gestire l'istanza del fornitore dello store di stato usando la sorgente di dati di stato - lettore.
  • [SPARK-46677] Correzione della risoluzione dataframe["*"].
  • [SPARK-46610] Crea tabella deve generare un'eccezione quando non è presente alcun valore per una chiave nelle opzioni.
  • [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
  • [SPARK-45433] Correggere l'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
  • [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi di tipo Union in Avro.
  • [SPARK-46227] Retroportazione alla versione 14.3.
  • [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString durante la conversione del tipo jdbc al tipo catalyst nel contesto jdbc.
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 13.3 LTS

Consultare Databricks Runtime 13.3 LTS.

• 9 dicembre 2025
  • [SPARK-54180][SQL] Eseguire l'override di toString di BinaryFileFormat
  • [SPARK-52579][PYTHON] Configurare il dump periodico di traceback per i processi Python
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • [SPARK-54047][PYTHON] Usare un errore di discrepanza quando si verifica kill-on-idle-timeout
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • Librerie R aggiornate:
    • freccia da 10.0.1 a 21.0.0
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 7 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 24 settembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 9 settembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 26 agosto 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-spark_2.12 da 0.7.12 a 0.7.13
  • Aggiornamenti della sicurezza del sistema operativo

• 14 agosto 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 15 luglio 2025

  • Aggiornamenti della sicurezza del sistema operativo

• 1° luglio 2025

  • Aggiornamenti della sicurezza del sistema operativo

• 17 giugno 2025
  • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
  • Aggiornamenti della sicurezza del sistema operativo

• 3 giugno 2025
  • Librerie Python aggiornate:
    • crittografia dalle versioni 3.4.8 e 37.0.1 alla 37.0.1
    • platformdirs dalla 2.6.2 alla 2.5.2
    • pyparsing da 2.4.7, 3.0.9 a 3.0.9
    • Aggiunto pip 22.2.2
    • Aggiunta di setuptools 63.4.1
    • Aggiunta di tomli 2.0.1
    • Aggiunto wcwidth 0.2.5
    • Aggiunta ruota 0.37.1
    • Rimossa la distribuzione 1.7.0
    • Rimosso il pacchetto distro-info 1.1+ubuntu0.2
    • Rimosso python-apt 2.4.0+ubuntu4
  • Librerie Java aggiornate:
    • com.github.fommil.netlib.native_ref-java dalla versione 1.1, 1.1-natives alla versione 1.1, 1.1
    • com.github.fommil.netlib.native_system-java dalla versione 1.1, 1.1 nativa alla versione 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 da 1.1-natives a 1.1
    • "com.github.fommil.netlib.netlib-native_system-linux-x86_64" da "1.1-natives" a "1.1"
    • io.netty.netty-transport-native-epoll da 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 a 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
    • io.netty.netty-transport-native-kqueue da 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 a 4.1.87.Final, 4.1.87.Final
    • org.apache.orc.orc-core da 1.8.4-shaded-protobuf a 1.8.4
    • org.apache.orc.orc-mapreduce da 1.8.4-shaded-protobuf a 1.8.4
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider aggiornamento da versione 1.6.1-linux-x86_64 a versione 1.6.1
  • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
  • Aggiornamenti della sicurezza del sistema operativo

• 20 maggio 2025
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-spark_2.12 da 0.7.11 a 0.7.12
  • Aggiornamenti della sicurezza del sistema operativo

• 22 aprile 2025
  • [Modifica del comportamento] Le operazioni di vacuum ora eseguono controlli sul protocollo Writer simili ad altre operazioni, impedendo pulizie inattese sulle tabelle con funzionalità più recenti quando vengono eseguite da versioni precedenti di Databricks Runtime non compatibili.
  • Aggiornamenti della sicurezza del sistema operativo

• 9 aprile 2025
  • [SPARK-51624][SQL] Propagare i metadati di GetStructField in CreateNamedStruct.dataType
  • Aggiornamenti della sicurezza del sistema operativo

• 11 marzo 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 11 febbraio 2025
  • [SPARK-50492][SS] Correggere java.util.NoSuchElementException quando la colonna dell'ora dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
  • [SPARK-45915][SQL] Trattare decimal(x, 0) nello stesso modo di IntegralType in PromoteStrings
  • Aggiornamenti della sicurezza del sistema operativo

• 10 dicembre 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 26 novembre 2024
  • [SPARK-49615] [ML] Far sì che la convalida dello schema del dataset di tutti i trasformatori di feature ML sia conforme alla configurazione "spark.sql.caseSensitive".
  • Aggiornamenti della sicurezza del sistema operativo
• 5 novembre 2024
  • [SPARK-48843] Impedire un ciclo infinito con BindParameters
  • [BACKPORT] [SPARK-49326][SS] Classificare la classe di errore per l'errore della funzione utente nel sink Foreach
  • [SPARK-49905] Usare ShuffleOrigin dedicato per l'operatore stateful per evitare che lo shuffle venga modificato da AQE
  • Aggiornamenti della sicurezza del sistema operativo
• 22 ottobre 2024
  • [SPARK-48843] Impedire un ciclo infinito con BindParameters
  • [BACKPORT] [SPARK-49326][SS] Classificare la classe di errore per l'errore della funzione utente nel sink Foreach
  • [SPARK-49905] Usare ShuffleOrigin dedicato per l'operatore stateful per evitare che lo shuffle venga modificato da AQE
  • Aggiornamenti della sicurezza del sistema operativo
• 10 ottobre 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields
• 25 settembre 2024
  • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
  • [SPARK-48719][SQL] Correggere il bug di calcolo di RegrSlope & RegrIntercept quando il primo parametro è Null
  • [SPARK-43242][CORE] Correzione dell'eccezione 'Tipo imprevisto di BlockId' nella diagnosi della corruzione dello shuffle
  • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
  • Aggiornamenti della sicurezza del sistema operativo
• 17 settembre 2024
  • [SPARK-49526][CONNECT] Fornire supporto per percorsi in stile Windows in ArtifactManager
  • [SPARK-48463][ML] Consentire a Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor di supportare colonne di input annidate
  • Aggiornamenti della sicurezza del sistema operativo
• 29 agosto 2024
• 14 agosto 2024
  • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
  • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari alternativi rispetto a quelli di default JVM
  • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
• 1 agosto 2024
  • Questa versione include la correzione di un bug per le classi ColumnVector e ColumnarArray nell'interfaccia Spark Java. Prima di questa correzione, un ArrayIndexOutOfBoundsException potrebbe essere generato o potrebbero essere restituiti dati non corretti quando un'istanza di una di queste classi conteneva valori null.
  • [SPARK-47202][PYTHON] Correggi errori di battitura che interrompono i datetime con tzinfo
  • [SPARK-48896][SPARK-48909][SPARK-48883] Ripristino delle correzioni del modulo di scrittura ML di Spark
  • [SPARK-48463] Rendere StringIndexer in grado di supportare colonne di input annidate
  • Aggiornamenti della sicurezza del sistema operativo
• 11 luglio 2024
  • (Modifica del comportamento) I DataFrame memorizzati nella cache contro le fonti della tabella Delta vengono invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un dataframe.
  • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
  • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
  • [SPARK-48292][CORE] Ripristinare [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortire la fase quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
  • [SPARK-48503][SQL] Correzione di sottoquery scalari invalide con group-by su colonne non equivalenti che erano state erroneamente consentite.
  • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
  • [SPARK-48475][PYTHON] Ottimizza _get_jvm_function in PySpark.
  • [SPARK-48273][SQL] Correzione della riscrittura tardiva di PlanWithUnresolvedIdentifier
  • [SPARK-48445][SQL] Non includere UDF con elementi figli di calcolo intensivo
  • Aggiornamenti della sicurezza del sistema operativo
• 17 giugno 2024
  • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
  • Aggiornamenti della sicurezza del sistema operativo
• 21 maggio 2024
  • (Modifica del comportamento) dbutils.widgets.getAll() è ora supportato per ottenere tutti i valori del widget in un notebook.
  • [SPARK-48105][SS] Correggere la condizione di competizione tra la disattivazione dell'archivio dello stato e la creazione di snapshot
  • [SPARK-47994][SQL] Correzione di un bug relativo al pushdown del filtro di colonna CASE WHEN in SQLServer.
  • Aggiornamenti della sicurezza del sistema operativo
• 9 maggio 2024
  • [SPARK-47956][SQL] Verifica di coerenza per il riferimento LCA non risolto
  • [SPARK-46822][SQL] Rispettare spark.sql.legacy.charVarcharAsString quando si esegue il cast del tipo JDBC al tipo Catalyst in JDBC
  • [SPARK-47895][SQL] il group by all dovrebbe essere idempotente
  • [SPARK-48018][SS] Correzione dell'errore causato dal groupId nullo che causa un errore di parametro mancante durante il lancio di KafkaException.couldNotReadOffsetRange
  • [SPARK-47973][CORE] Registra il sito di chiamata in SparkContext.stop() e successivamente in SparkContext.assertNotStopped()
  • Aggiornamenti della sicurezza del sistema operativo
• 25 aprile 2024
  • [SPARK-44653][SQL] Le unioni di DataFrame non semplici non devono interrompere la memorizzazione nella cache
  • Varie correzioni di bug.
• 11 aprile 2024
  • [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
  • Aggiornamenti della sicurezza del sistema operativo
• 1 aprile 2024
  • [SPARK-47385] Corregge i codificatori di tuple con input opzionali.
  • [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
  • [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch di Foreach
  • [SPARK-47368][SQL] Rimuovere il controllo del parametro inferTimestampNTZ in ParquetRowConverter
  • [SPARK-44252][SS] Definire una nuova classe di errore e applicarla nel caso in cui lo stato di caricamento da DFS non riesce
  • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
  • [SPARK-47300][SQL] quoteIfNeeded dovrebbero citare identificatori che iniziano con cifre
  • [SPARK-47305][SQL] Correggere PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano presenta sia batch che streaming.
  • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
  • Aggiornamenti della sicurezza del sistema operativo
• 14 marzo 2024
  • [SPARK-47145][SQL] Passare l'identificatore di tabella all'esecuzione della scansione della sorgente di dati per riga per la strategia V2.
  • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
  • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
  • [SPARK-47044][SQL] Aggiungere query eseguite per origini dati esterne JDBC per spiegare l'output
  • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
  • Aggiornamenti della sicurezza del sistema operativo
• 29 febbraio 2024
  • È stato risolto un problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
  • La creazione di uno schema con un percorso definito richiede ora che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
  • Aggiornamenti della sicurezza del sistema operativo
• 8 febbraio 2024
  • Le query CDF (Change Data Feed) nelle viste materializzate del catalogo Unity non sono supportate e il tentativo di eseguire una query CDF con una vista materializzata del catalogo Unity restituisce un errore. Le tabelle di streaming di Unity Catalog supportano query "CDF" su tabelle "CDC non AUTO" in Databricks Runtime 14.1 e versioni successive. Le query CDF non sono supportate con le tabelle di streaming di Unity Catalog in Databricks Runtime 14.0 e versioni precedenti.
  • [SPARK-46794] Rimuovere subquery dai vincoli di LogicalRDD.
  • [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
  • [SPARK-45582] Assicurarsi che l'istanza dell'archivio non venga utilizzata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output.
  • [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
  • [SPARK-46861] Evitare il deadlock in DAGScheduler.
  • [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
  • Aggiornamenti della sicurezza del sistema operativo
• 31 gennaio 2024
  • [SPARK-46610] Crea tabella deve generare un'eccezione quando non è presente alcun valore per una chiave nelle opzioni.
  • [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables().
  • [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
  • [SPARK-46676] dropDuplicatesWithinWatermark non dovrebbe fallire durante la canonicalizzazione del piano.
  • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
  • Aggiornamenti della sicurezza del sistema operativo
• 17 gennaio 2024
  • Il nodo dell'explain plan shuffle restituito da una query Photon viene aggiornato per aggiungere il flag causedBroadcastJoinBuildOOM=true quando si verifica un errore di memoria insufficiente durante un'operazione di shuffle che fa parte di un broadcast join.
  • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
  • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
  • [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
  • [SPARK-46370] Correggere il bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
  • [SPARK-46370] Correggere il bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
  • [SPARK-46370] Correggere il bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
  • [SPARK-46609] Evitare un'esplosione esponenziale nel nodo di esecuzione "PartitioningPreservingUnaryExecNode".
  • [SPARK-46132] Supporto della password delle chiavi JKS per SSL RPC.
  • [SPARK-46602] Propagazione di allowExisting durante la creazione della vista quando la vista o la tabella non esistono.
  • [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire una condizione di competizione con le operazioni in background.
  • [SPARK-46417] Non andare in errore quando si utilizza hive.getTable e throwException è false.
  • [SPARK-46538] Corretto il problema del riferimento ambiguo di colonna in ALSModel.transform.
  • [SPARK-46478] Revertire SPARK-43049 per usare Oracle varchar(255) per le stringhe.
  • [SPARK-46250] Stabilizzare il test_parity_listener.
  • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema impostato su true.
  • [SPARK-46056] Correzione della lettura vettorializzata Parquet che causava un'eccezione NullPointerException (NPE), utilizzando il valore predefinito di byteArrayDecimalType.
  • [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
  • [SPARK-46466] Il lettore Parquet vettorizzato non dovrebbe mai effettuare il rebase per i timestamp ntz.
• 14 dicembre 2023
  • È stato risolto un problema per cui i caratteri di sottolineatura con escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo errato e interpretati come caratteri jolly.
  • [SPARK-45920] il raggruppamento per ordinale deve essere idempotente.
  • [SPARK-44582] Saltare l'iteratore su SMJ se è stato ripulito.
  • [SPARK-45433] Correggere l'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
  • [SPARK-45655] Consentire espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
  • Aggiornamenti della sicurezza del sistema operativo
• 29 novembre 2023
  • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
  • Il connettore Spark-snowflake viene aggiornato alla versione 2.12.0.
  • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
  • [SPARK-45544] Supporto SSL integrato in TransportContext.
  • [SPARK-45892] Eseguire il refactoring della convalida del piano dell'ottimizzatore per scorporare validateSchemaOutput e validateExprIdUniqueness.
  • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Resi gli oggetti UDF ml.functions pigri.
  • Aggiornamenti della sicurezza del sistema operativo
• 10 novembre 2023
  • I filtri di partizione per le query di streaming di Delta Lake vengono applicati prima della limitazione della frequenza per ottenere un utilizzo migliore.
  • Le query dei feed di dati nelle tabelle di streaming e nelle viste materializzate di Unity Catalog sono state modificate al fine di visualizzare messaggi di errore.
  • [SPARK-45545]SparkTransportConf eredita SSLOptions al momento della creazione.
  • [SPARK-45584] Risolto il problema di esecuzione della sottoquery con TakeOrderedAndProjectExec.
  • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
  • [SPARK-45541] Aggiunto SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction non fallisce più quando IGNORE NULLS e offset > rowCount.
  • [SPARK-45429] Aggiunte classi helper per la comunicazione RPC SSL.
  • [SPARK-44219] Sono state aggiunte altre convalide per regola per le riscritture di ottimizzazione.
  • [SPARK-45543] È stato risolto un problema per cui InferWindowGroupLimit causava un problema se le altre funzioni della finestra non avessero lo stesso frame della finestra delle funzioni tipo rango.
  • Aggiornamenti della sicurezza del sistema operativo
• 23 ottobre 2023
  • [SPARK-45256] Risolto un problema a causa del quale DurationWriter non è riuscito durante la scrittura di più valori rispetto alla capacità iniziale.
  • [SPARK-45419] Evitare di riutilizzare i file rocksdb sst in un'istanza diversa da rocksdb rimuovendo le voci della mappa delle versioni dei file di versioni più grandi.
  • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
  • Correzioni varie.
• 13 ottobre 2023
  • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
  • La funzione array_insert è basata su 1 per gli indici positivi e negativi, mentre prima era basata su 0 per gli indici negativi. Adesso inserisce un nuovo elemento alla fine delle matrici di input per l'indice -1. Per ripristinare il comportamento precedente, impostare spark.sql.legacy.negativeIndexInArrayInsert su true.
  • È stato risolto un problema relativo al mancato ignorare i file danneggiati quando ignoreCorruptFiles è abilitato durante l'inferenza dello schema CSV con il caricatore automatico.
  • Ripristinare "[SPARK-42946]."
  • [SPARK-42205] Aggiornato il protocollo JSON per rimuovere la registrazione degli Accumulables nei task o negli eventi di inizio fase.
  • [SPARK-45178] Passare all'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate invece di usare il wrapper.
  • [SPARK-45316] Aggiungere nuovi parametri ignoreCorruptFiles e ignoreMissingFiles a HadoopRDD e NewHadoopRDD.
  • [SPARK-44740] valori fissi dei metadati per Artifacts.
  • [SPARK-45360] Configurazione generatore di sessioni Spark inizializzata da SPARK_REMOTE.
  • [SPARK-44551] Commenti modificati da sincronizzare con OSS.
  • [SPARK-45346] L'inferenza dello schema di Parquet ora rispetta i flag case-sensitive durante la fusione degli schemi.
  • [SPARK-44658]ShuffleStatus.getMapStatus ora restituisce None anziché Some(null).
  • [SPARK-44840] È stato reso array_insert() in base 1 per gli indici negativi.
• 14 settembre 2023
  • [SPARK-44873] Aggiunta del supporto per alter view con colonne annidate nel client di Hive.
  • [SPARK-44878] Disattivato limite rigoroso per il gestore delle scritture per evitare l'eccezione di inserimento nella cache completa.
• 30 agosto 2023
  • Il comando dbutils cp (dbutils.fs.cp) è stato ottimizzato per una copia più rapida. Con questo miglioramento, le operazioni di copia possono richiedere fino a 100 volte meno tempo, a seconda delle dimensioni del file. La funzionalità è disponibile in tutti i cloud e nei file system accessibili in Databricks, inclusi i volumi del catalogo Unity e i montaggi DBFS.
  • [SPARK-44455] Usa i backtick per citare gli identificatori nel risultato SHOW CREATE TABLE.
  • [SPARK-44763] È stato risolto un problema che mostrava una stringa come double nell'aritmetica binaria con intervallo.
  • [SPARK-44871] Corretto comportamento percentile_disc.
  • [SPARK-44714] Allentamento delle restrizioni sulla risoluzione LCA relative alle query.
  • [SPARK-44818] Correzione della condizione di contesa per l'interruzione dell'attività in sospeso emessa prima dell'inizializzazione di taskThread.
  • [SPARK-44505] Aggiunta dell'override per il supporto a colonne in Analisi per DSv2.
  • [SPARK-44479] Correzione della conversione di protobuf da un tipo di struttura vuota.
  • [SPARK-44718] La configurazione predefinita della modalità memoria corrisponde al valore della configurazione ColumnVector.
  • [SPARK-42941] Aggiunta del supporto per StreamingQueryListener in Python.
  • [SPARK-44558] Esportare il livello di log di Spark Connect di PySpark.
  • [SPARK-44464] Risolto il problema di applyInPandasWithStatePythonRunner per produrre righe di output che hanno un valore nullo come la prima colonna.
  • [SPARK-44643] Corretto Row.__repr__ quando il campo è una riga vuota.
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 12.2 LTS

Vedere Databricks Runtime 12.2 LTS.

• 9 dicembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 18 novembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 4 novembre 2025
  • Librerie R aggiornate:
    • freccia da 10.0.0 a 21.0.0
  • Aggiornamenti della sicurezza del sistema operativo

• 21 ottobre 2025
  • Aggiornamento di Python dalla versione 2.7.18 alla versione 2.7.18.1
  • Aggiornamenti della sicurezza del sistema operativo

• 7 ottobre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 24 settembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 9 settembre 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 26 agosto 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 14 agosto 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 15 luglio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 1° luglio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 17 giugno 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 3 giugno 2025
  • Librerie Python aggiornate:
    • certificato dal 28.11.2019, 8.10.2021 al 8.10.2021
    • chardet da 3.0.4, da 4.0.0 a 4.0.0
    • idna da versione 2.8 e 3.3 a 3.3
    • richieste dalle versioni 2.22.0, 2.27.1 alla versione 2.27.1
    • Versioni da 1.14.0, 1.16.0 a 1.16.0
    • urllib3 da 1.25.8, 1.26.9 a 1.26.9
    • Aggiunta di pip 21.2.4
    • Aggiunta di setuptools 61.2.0
    • tomli 1.2.2 aggiunto
    • Aggiunto wcwidth 0.2.5
    • Aggiunta ruota 0.37.0
    • Rimossa la distribuzione versione 1.4.0
    • Rimozione delle informazioni sulla distribuzione 0.23+ubuntu1.1
    • Rimosso python-apt 2.0.1+ubuntu0.20.4.1
  • Librerie Java aggiornate:
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider aggiornamento da versione 1.6.1-linux-x86_64 a versione 1.6.1
  • Aggiornamenti della sicurezza del sistema operativo

• 20 maggio 2025
  • [SPARK-42655][SQL] Errore di riferimento di colonna ambiguo non corretto
  • Aggiornamenti della sicurezza del sistema operativo

• 22 aprile 2025
  • [Modifica comportamento] Le operazioni vacuum eseguono ora controlli del protocollo writer simili ad altre operazioni, impedendo operazioni di pulizia impreviste nelle tabelle con funzionalità più recenti quando vengono eseguite da versioni precedenti di Databricks Runtime non compatibili.
  • Aggiornamenti della sicurezza del sistema operativo

• 9 aprile 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 11 marzo 2025

  • Aggiornamenti della sicurezza del sistema operativo

• 10 dicembre 2024

  • Aggiornamenti della sicurezza del sistema operativo

• 26 novembre 2024

  • Varie correzioni di bug.

• 10 ottobre 2024

  • [SPARK-49743][SQL] OptimizeCsvJsonExpr non deve modificare i campi dello schema durante l'eliminazione di GetArrayStructFields

• 25 settembre 2024

  • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
  • [SPARK-46601] [CORE] Correzione dell'errore di log in handleStatusMessage
  • Varie correzioni di bug.

• 17 settembre 2024

  • Aggiornamenti della sicurezza del sistema operativo

• 29 agosto 2024

  • Varie correzioni di bug.

• 14 agosto 2024

  • [SPARK-48941][SPARK-48970] Correzioni per il backport del writer/reader ML
  • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari alternativi rispetto a quelli di default JVM
  • [SPARK-49056][SQL] ErrorClassesJsonReader non è in grado di gestire correttamente i valori Null
  • [SPARK-48597][SQL] Introdurre un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
  • [SPARK-48463][ML] Rendere StringIndexer compatibile con colonne di input annidate
  • Aggiornamenti della sicurezza del sistema operativo

• 1 agosto 2024

  • [SPARK-48896][SPARK-48909][SPARK-48883] Ripristino delle correzioni del modulo di scrittura ML di Spark

• 1 agosto 2024

  • Per applicare le patch di sicurezza necessarie, la versione di Python in Databricks Runtime 12.2 LTS viene aggiornata dalla versione 3.9.5 alla versione 3.9.19.

• 11 luglio 2024

  • (Modifica del comportamento) I DataFrame memorizzati nella cache contro le fonti della tabella Delta vengono invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un dataframe.
  • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan al set di dati di streaming
  • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
  • [SPARK-42741][SQL] Non sciogliere i cast nel confronto binario quando il valore letterale è nullo
  • [SPARK-48445][SQL] Non includere UDF con elementi figli di calcolo intensivo
  • [SPARK-48503][SQL] Correzione di sottoquery scalari invalide con group-by su colonne non equivalenti che erano state erroneamente consentite.
  • [SPARK-48383][SS] Genera un errore migliore per le partizioni non corrispondenti nell'opzione startOffset in Kafka
  • Aggiornamenti della sicurezza del sistema operativo

• 17 giugno 2024

  • [SPARK-48277] Miglioramento del messaggio di errore per ErrorClassesJsonReader.getErrorMessage
  • Varie correzioni di bug.

• 21 maggio 2024

  • [SPARK-48105][SS] Correggere la condizione di competizione tra la disattivazione dell'archivio dello stato e la creazione di snapshot
  • Aggiornamenti della sicurezza del sistema operativo

• 9 maggio 2024

  • [SPARK-44251][SQL] Impostare correttamente i valori nullable sulla chiave di join di coalescenza in un join esterno completo con USING
  • [SPARK-47973][CORE] Registra il sito di chiamata in SparkContext.stop() e successivamente in SparkContext.assertNotStopped()
  • [SPARK-47956][SQL] Verifica di coerenza per il riferimento LCA non risolto
  • [SPARK-48018][SS] Correzione dell'errore causato dal groupId nullo che causa un errore di parametro mancante durante il lancio di KafkaException.couldNotReadOffsetRange
  • Aggiornamenti della sicurezza del sistema operativo

• 25 aprile 2024

  • Aggiornamenti della sicurezza del sistema operativo

• 11 aprile 2024

  • Aggiornamenti della sicurezza del sistema operativo

• 1° aprile 2024

  • [SPARK-47305][SQL] Correggere PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano presenta sia batch che streaming.
  • [SPARK-44252][SS] Definire una nuova classe di errore e applicarla nel caso in cui lo stato di caricamento da DFS non riesce
  • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
  • [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch di Foreach
  • Aggiornamenti della sicurezza del sistema operativo

• 14 marzo 2024

  • [SPARK-47176][SQL] Disporre di una funzione helper ResolveAllExpressionsUpWithPruning
  • Annullare “[SPARK-46861][CORE] Evitare il deadlock in DAGScheduler”
  • [SPARK-47125][SQL] Restituire Null se l'univocità non attiva mai l'analisi
  • [SPARK-47167][SQL] Aggiungere una classe concreta per la relazione anonima JDBC
  • Aggiornamenti della sicurezza del sistema operativo

• 29 febbraio 2024

  • È stato risolto un problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
  • La creazione di uno schema con un percorso definito richiede ora che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
  • [SPARK-45582][SS] Assicurarsi che l'istanza dell'archivio non venga utilizzata all'interno dell'aggregazione di streaming in modalità output dopo aver chiamato il commit.
  • Aggiornamenti della sicurezza del sistema operativo

• 13 febbraio 2024

  • [SPARK-46861] Evitare il deadlock in DAGScheduler.
  • [SPARK-46794] Rimuovere subquery dai vincoli di LogicalRDD.
  • Aggiornamenti della sicurezza del sistema operativo

• 31 gennaio 2024

  • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
  • Aggiornamenti della sicurezza del sistema operativo

• 25 dicembre 2023

  • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
  • [SPARK-39440] Aggiungere una configurazione per disabilitare la timeline degli eventi.
  • [SPARK-46132] Supporto della password delle chiavi JKS per SSL RPC.
  • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema impostato su true.
  • [SPARK-46417] Non andare in errore quando si utilizza hive.getTable e throwException è false.
  • [SPARK-43067] Correggere il percorso del file di risorse della classe di errore nel connettore Kafka.
  • [SPARK-46249] Richiedere il blocco dell'istanza per l'acquisizione delle metriche RocksDB per impedire una condizione di competizione con le operazioni in background.
  • [SPARK-46602] Propagazione di allowExisting durante la creazione della vista quando la vista o la tabella non esistono.
  • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
  • [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
  • [SPARK-46538] Corretto il problema del riferimento ambiguo di colonna in ALSModel.transform.
  • [SPARK-42852] Annullare le modifiche relative a NamedLambdaVariable da EquivalentExpressions.

• 14 dicembre 2023

  • È stato risolto un problema per cui i caratteri di sottolineatura con escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo errato e interpretati come caratteri jolly.
  • [SPARK-44582] Saltare l'iteratore su SMJ se è stato ripulito.
  • [SPARK-45920] il raggruppamento per ordinale deve essere idempotente.
  • [SPARK-45655] Consentire espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics.
  • Aggiornamenti della sicurezza del sistema operativo

• 29 novembre 2023

  • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
  • È stato risolto un problema per cui i caratteri di sottolineatura con escape nelle operazioni di getColumns provenienti da client JDBC o ODBC venivano interpretati erroneamente come caratteri universali.
  • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Stage e Task.
  • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
  • [SPARK-43718] Corretto il problema di nullabilità delle chiavi nei join USING.
  • [SPARK-45544] Supporto SSL integrato in TransportContext.
  • [SPARK-43973] L'interfaccia utente di Structured Streaming ora visualizza correttamente le query non riuscite.
  • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Resi gli oggetti UDF ml.functions pigri.
  • Aggiornamenti della sicurezza del sistema operativo

• 14 novembre 2023

  • I filtri di partizione per le query di streaming di Delta Lake vengono applicati prima della limitazione della frequenza per ottenere un utilizzo migliore.
  • [SPARK-45545]SparkTransportConf eredita SSLOptions al momento della creazione.
  • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
  • [SPARK-45584] Risolto il problema di esecuzione della sottoquery con TakeOrderedAndProjectExec.
  • [SPARK-45541] Aggiunto SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction non fallisce più quando IGNORE NULLS e offset > rowCount.
  • [SPARK-45429] Aggiunte classi helper per la comunicazione RPC SSL.
  • Aggiornamenti della sicurezza del sistema operativo

• 24 ottobre 2023

  • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
  • Correzioni varie.

• 13 ottobre 2023

  • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
  • [SPARK-42553] Assicurarsi che vi sia almeno un'unità di tempo immediatamente successiva all'intervallo.
  • [SPARK-45346] L'inferenza dello schema Parquet rispetta il flag di distinzione tra maiuscole e minuscole durante la fusione degli schemi.
  • [SPARK-45178] Passare all'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate invece di usare il wrapper.
  • [SPARK-45084]StateOperatorProgress per usare un numero di partizione shuffle accurato e adeguato.

• 12 settembre 2023

  • [SPARK-44873] Aggiunto supporto per alter view con colonne annidate nel client Hive.
  • [SPARK-44718] La configurazione predefinita della modalità memoria corrisponde al valore della configurazione ColumnVector.
  • [SPARK-43799] Aggiunta dell'opzione binaria del descrittore all'API PySpark Protobuf.
  • Correzioni varie.

• 30 agosto 2023

  • [SPARK-44485] Ottimizzato TreeNode.generateTreeString.
  • [SPARK-44818] Correzione della condizione di contesa per l'interruzione dell'attività in sospeso emessa prima dell'inizializzazione di taskThread.
  • [SPARK-44871][11.3-13.0] Corretto comportamentopercentile_disc.
  • [SPARK-44714] Riduzione delle limitazioni alla risoluzione LCA relativa alle query.
  • Aggiornamenti della sicurezza del sistema operativo

• 15 agosto 2023

  • [SPARK-44504] L'attività di manutenzione pulisce i provider caricati quando si verifica un errore di stop.
  • [SPARK-44464] Corretto per far sì che applyInPandasWithStatePythonRunner produca righe con Null come valore della prima colonna.
  • Aggiornamenti della sicurezza del sistema operativo

• 29 luglio 2023

  • È stato risolto un problema a causa del quale dbutils.fs.ls() restituiva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando fosse chiamato per il percorso di una posizione di archiviazione che entrava in conflitto con un'altra posizione di archiviazione esterna o gestita.
  • [SPARK-44199]CacheManager non aggiorna più fileIndex inutilmente.
  • Aggiornamenti della sicurezza del sistema operativo

• 24 luglio 2023

  • [SPARK-44337] È stato risolto un problema per cui qualsiasi campo impostato su Any.getDefaultInstance causava errori di analisi.
  • [SPARK-44136] Risolto un problema per cui StateManager veniva materializzato in un executor anziché nel driver in FlatMapGroupsWithStateExec.
  • Aggiornamenti della sicurezza del sistema operativo

• 23 giugno 2023

  • Aggiornamenti della sicurezza del sistema operativo

• 15 giugno 2023

  • Fotonizzato approx_count_distinct.
  • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
  • [SPARK-43779]ParseToDate ora carica EvalMode nel thread principale.
  • [SPARK-43156][SPARK-43098] Test esteso per l'errore di conteggio delle sottoquery scalari con decorrelateInnerQuery disattivato.
  • Aggiornamenti della sicurezza del sistema operativo

• 2 giugno 2023

  • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e fallisce immediatamente in modalità FAILFAST.
  • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Apache Iceberg e Apache Parquet.
  • È stato risolto un problema nel caricatore automatico in cui i diversi formati di file di origine erano incoerenti quando lo schema specificato non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
  • [SPARK-43404] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
  • [SPARK-43413][11.3-13.0] È stata corretta la nullabilità della sottoqueryIN.
  • [SPARK-43522] Risolto il problema nella creazione del nome della colonna struct con l'indice dell'array.
  • [SPARK-43541] Propagazione di tutti i tag Project nella risoluzione delle espressioni e delle colonne mancanti.
  • [SPARK-43527] Corretto catalog.listCatalogs in PySpark.
  • [SPARK-43123] I metadati interni dei campi non trapelano più nei cataloghi.
  • [SPARK-43340] Corretto il campo di traccia dello stack mancante nei log degli eventi.
  • [SPARK-42444]DataFrame.drop ora gestisce correttamente le colonne duplicate.
  • [SPARK-42937]PlanSubqueries adesso imposta InSubqueryExec#shouldBroadcast su vero.
  • [SPARK-43286] Aggiornata la modalità CBC per generare IV casuali.
  • [SPARK-43378] Chiudere correttamente gli oggetti di flusso in deserializeFromChunkedBuffer.

• 17 maggio 2023

  • Le scansioni Parquet sono ora affidabili in caso di errori di memoria insufficiente (OOM) grazie alla regolazione dinamica delle dimensioni del blocco durante la scansione di file eccezionalmente strutturati. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
  • Se un file Avro è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
  • Il caricatore automatico adesso esegue le seguenti operazioni.
  • • Legge correttamente e non salva più i tipi Integer, Short e Byte se viene fornito uno di questi tipi di dati, ma il file Avro suggerisce uno degli altri due tipi.
  • • Impedisce la lettura dei tipi di intervallo come tipi di data o timestamp per evitare di ottenere date danneggiate.
  • • Impedisce la lettura dei tipi Decimal con minore precisione.
  • [SPARK-43172] Espone l'host e il token dal client di connessione Spark.
  • [SPARK-43293]__qualified_access_only viene ignorato nelle colonne normali.
  • [SPARK-43098] Corretto il bug di correttezza COUNT quando la sottoquery scalare è raggruppata tramite clausola.
  • [SPARK-43085] supporto all'assegnazione di colonna DEFAULT per i nomi di tabella in più parti.
  • [SPARK-43190]ListQuery.childOutput è ora coerente con l'output secondario.
  • [SPARK-43192] Rimozione della convalida del set di caratteri dell'agente utente.
  • Aggiornamenti della sicurezza del sistema operativo

• 25 aprile 2023

  • Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi vengono lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
  • Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short e Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili.
  • [SPARK-43009] Parametrizzato sql() con costanti Any
  • [SPARK-42406] Terminare i campi ricorsivi Protobuf eliminando il campo
  • [SPARK-43038] Supportare la modalità CBC tramite aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Modifica per stampare workdir se appDirs è null quando il gestore gestisce l'evento WorkDirCleanup
  • [SPARK-43018] Correzione del bug per i comandi di INSERT con valori letterali di timestamp
  • Aggiornamenti della sicurezza del sistema operativo

• 11 aprile 2023

  • Supportare i formati di origine dati legacy nel comando SYNC.
  • Risolve un problema nel comportamento di %autoload nei notebook all'esterno di un repository.
  • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
  • [SPARK-42928] Esegue la sincronizzazione resolvePersistentFunction.
  • [SPARK-42936] Risoluzione del problema LCan quando la clausola può essere risolta direttamente dall'aggregato figlio.
  • [SPARK-42967] Corregge SparkListenerTaskStart.stageAttemptId quando l’attività viene avviata dopo l'annullamento della fase.
  • Aggiornamenti della sicurezza del sistema operativo

• 29 marzo 2023

  • Databricks SQL supporta ora la specifica dei valori predefiniti per le colonne delle tabelle Delta Lake, in fase di creazione della tabella o successiva. I INSERT comandi successivi, UPDATE, DELETE, e MERGE possono fare riferimento al valore predefinito di qualsiasi colonna usando la parola chiave DEFAULT esplicito. Inoltre, se un'assegnazione di INSERT ha un elenco esplicito di meno colonne rispetto alla tabella di destinazione, i valori predefiniti della colonna corrispondenti vengono sostituiti per le colonne rimanenti (o NULL se non viene specificato alcun valore predefinito).

    Per esempio:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    > 0, 2023-03-28
    1, 2023-03-28z
    

  • Il caricatore automatico ora avvia almeno una pulizia sincrona dei log di RocksDB per i flussi Trigger.AvailableNow, così da verificare che il checkpoint possa essere pulito regolarmente per i flussi Auto Loader a esecuzione rapida. Ciò può richiedere più tempo prima dell'arresto di alcuni flussi, ma consente di risparmiare sui costi di archiviazione e di migliorare l'esperienza di caricamento automatico nelle esecuzioni future.

  • È ora possibile modificare una tabella Delta per aggiungere il supporto alle funzionalità della tabella usando DeltaTable.addFeatureSupport(feature_name).

  • [SPARK-42794] Aumentare il lockAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio di stato RocksDB in Structure Streaming

  • [SPARK-42521] Aggiungere NULLs per INSERT con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione

  • [SPARK-42702][SPARK-42623] Supporto per query parametrizzate nelle sottoquery e CTE

  • [SPARK-42668] Intercettare l'eccezione nel tentativo di chiudere il flusso compresso nel metodo stop di HDFSStateStoreProvider

  • [SPARK-42403] JsonProtocol deve essere in grado di gestire stringhe JSON nulle

• 8 marzo 2023

  • Il messaggio di errore "Errore di inizializzazione della configurazione" è stato migliorato per fornire maggiore contesto per il cliente.
  • Esiste una modifica della terminologia per l'aggiunta di funzionalità a una tabella Delta usando la proprietà table. La sintassi preferita adesso è 'delta.feature.featureName'='supported' anziché 'delta.feature.featureName'='enabled'. Per garantire la compatibilità con le versioni precedenti, l'uso di 'delta.feature.featureName'='enabled' continua a funzionare e continuerà a funzionare.
  • A partire da questa versione, è possibile creare/sostituire una tabella con una proprietà di tabella aggiuntiva delta.ignoreProtocolDefaults per ignorare le configurazioni di Spark relative al protocollo, incluse le versioni predefinite del lettore e dello scrittore, oltre alle funzionalità della tabella supportate per impostazione predefinita.
  • [SPARK-42070] Modificare il valore predefinito dell'argomento della funzione maschera da -1 a NULL
  • [SPARK-41793] Risultato non corretto per le finestre definite da una clausola di range su decimali significativi
  • [SPARK-42484] Messaggio di errore migliore per unsafeRowUtils
  • [SPARK-42516] Registrare sempre la configurazione del fuso orario della sessione durante la creazione delle visualizzazioni
  • [SPARK-42635] Correggere l'espressione TimestampAdd.
  • [SPARK-42622] Disattivato sostituzione nei valori
  • [SPARK-42534] Correzione della clausola Limit del DB2Dialect
  • [SPARK-42121] Aggiungere funzioni predefinite con valori di tabella posexplode, posexplode_outer, json_tuple e stack
  • [SPARK-42045] Modalità ANSI SQL: Round/Bround dovrebbe restituire un errore in caso di overflow di numeri interi piccoli o significativi
  • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 9.1 LTS

Consulta Databricks Runtime 9.1 LTS.

• 9 aprile 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 11 marzo 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 11 febbraio 2025
  • Aggiornamenti della sicurezza del sistema operativo

• 10 dicembre 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 26 novembre 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 5 novembre 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 22 ottobre 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 10 ottobre 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 25 settembre 2024
  • [SPARK-49000][SQL] Correzione di "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
  • Aggiornamenti della sicurezza del sistema operativo
• 6 settembre 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 29 agosto 2024
  • [SPARK-49065][SQL] Il rebasing nei formattatori/parser legacy deve supportare fusi orari alternativi rispetto a quelli di default JVM
• 14 agosto 2024
• 1 agosto 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 11 luglio 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 17 giugno 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 21 maggio 2024
  • [SPARK-48105][SS] Correggere la condizione di competizione tra la disattivazione dell'archivio dello stato e la creazione di snapshot
  • Aggiornamenti della sicurezza del sistema operativo
• 9 maggio 2024
  • [SPARK-47973][CORE] Registra il sito di chiamata in SparkContext.stop() e successivamente in SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Impostare correttamente i valori nullable sulla chiave di join di coalescenza in un join esterno completo con USING
  • Aggiornamenti della sicurezza del sistema operativo
• 25 aprile 2024
  • Varie correzioni di bug.
• 11 aprile 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 1 aprile 2024
  • Annullare “[SPARK-46861][CORE] Evitare il deadlock in DAGScheduler”
  • Aggiornamenti della sicurezza del sistema operativo
• 14 marzo 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 29 febbraio 2024
  • È stato risolto un problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
  • Aggiornamenti della sicurezza del sistema operativo
• 13 febbraio 2024
  • [SPARK-46861] Evitare il deadlock in DAGScheduler.
  • Aggiornamenti della sicurezza del sistema operativo
• 31 gennaio 2024
  • Aggiornamenti della sicurezza del sistema operativo
• 25 dicembre 2023
  • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
  • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
  • [SPARK-39440] Aggiungere una configurazione per disabilitare la timeline degli eventi.
  • [SPARK-46132] Supporto della password delle chiavi JKS per SSL RPC.
• 14 dicembre 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 29 novembre 2023
  • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
  • [SPARK-45859] Resi gli oggetti UDF ml.functions pigri.
  • [SPARK-45544] Supporto SSL integrato in TransportContext.
  • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
  • Aggiornamenti della sicurezza del sistema operativo
• 14 novembre 2023
  • [SPARK-45545]SparkTransportConf eredita SSLOptions al momento della creazione.
  • [SPARK-45429] Aggiunte classi helper per la comunicazione RPC SSL.
  • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
  • [SPARK-45584] Risolto il problema di esecuzione della sottoquery con TakeOrderedAndProjectExec.
  • [SPARK-45541] Aggiunto SSLFactory.
  • [SPARK-42205] Rimosso l'uso degli accumulatori di log negli eventi di avvio delle Fasi e dei Task.
  • Aggiornamenti della sicurezza del sistema operativo
• 24 ottobre 2023
  • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
  • Aggiornamenti della sicurezza del sistema operativo
• 13 ottobre 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 10 settembre 2023
  • Correzioni varie.
• 30 agosto 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 15 agosto 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 23 giugno 2023
  • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
  • Aggiornamenti della sicurezza del sistema operativo
• 15 giugno 2023
  • [SPARK-43098] Correzione del bug di correttezza di COUNT quando la sottoquery scalare ha una clausola GROUP BY.
  • [SPARK-43156][SPARK-43098] Estendere il test del bug di conteggio delle sottoquery scalari con decorrelateInnerQuery disattivato.
  • [SPARK-40862] Supporto per sottoquery non aggregate in RewriteCorrelatedScalarSubquery.
  • Aggiornamenti della sicurezza del sistema operativo
• 2 giugno 2023
  • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e fallisce immediatamente in modalità FAILFAST.
  • È stato risolto un problema nell'analisi dei dati recuperati in JSON per prevenire UnknownFieldException.
  • È stato risolto un problema nel caricatore automatico in cui i diversi formati di file di origine erano incoerenti quando lo schema specificato non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
  • [SPARK-37520] Aggiungere le funzioni stringa startswith() e endswith()
  • [SPARK-43413] Corretta la nullabilità della sottoquery IN.
  • Aggiornamenti della sicurezza del sistema operativo
• 17 maggio 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 25 aprile 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 11 aprile 2023
  • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
  • [SPARK-42967] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
• 29 marzo 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 14 marzo 2023
  • [SPARK-42484] Messaggio di errore migliorato per UnsafeRowUtils.
  • Correzioni varie.
• 28 febbraio 2023
  • Gli utenti possono ora leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
  • Aggiornamenti della sicurezza del sistema operativo
• 16 febbraio 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 31 gennaio 2023
  • Per impostazione predefinita, le tabelle JDBC sono di tipo EXTERNAL.
• 18 gennaio 2023
  • Aggiornamenti della sicurezza del sistema operativo
• 29 novembre 2022
  • È stato risolto un problema relativo al parsing JSON nel caricatore automatico quando tutte le colonne venivano mantenute come stringhe (cloudFiles.inferColumnTypes non era impostato o era impostato su false) e il JSON conteneva oggetti annidati.
  • Aggiornamenti della sicurezza del sistema operativo
• 15 novembre 2022
  • Aggiornamento di Apache commons-text alla versione 1.10.0.
  • Aggiornamenti della sicurezza del sistema operativo
  • Correzioni varie.
• 1 novembre 2022
  • È stato risolto un problema per cui, se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di modifica dati era disattivato su tale tabella, i dati in quella colonna si riempivano erroneamente con valori NULL durante l'esecuzione di .
  • È stato risolto un problema con il caricatore automatico in cui un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
  • [SPARK-40596] Inserire i messaggi per ExecutorDecommission in ExecutorDecommissionInfo
  • Aggiornamenti della sicurezza del sistema operativo
• 18 ottobre 2022
  • Aggiornamenti della sicurezza del sistema operativo
• 5 ottobre 2022
  • Correzioni varie.
  • Aggiornamenti della sicurezza del sistema operativo
• 22 settembre 2022
  • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco predefinito per il caricatore automatico in ADLS. L'elenco incorporato è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti.
  • [SPARK-40315] Aggiungere hashCode() per la classe Literal di ArrayBasedMapData
  • [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
  • [SPARK-39887] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
• 6 settembre 2022
  • [SPARK-40235] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
  • [SPARK-35542] Correzione: Bucketizer creato per più colonne con parametri splitsArray, inputCols e outputCols non possono essere caricati dopo il salvataggio
  • [SPARK-40079] Aggiungere la convalida di inputCols nell'Imputer per il caso di input vuoto
• 24 agosto 2022
  • [SPARK-39666] Usare UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode in ExpressionEncoder
  • [SPARK-39962] Applicare la proiezione quando gli attributi del gruppo sono vuoti
  • Aggiornamenti della sicurezza del sistema operativo
• 9 agosto 2022
  • Aggiornamenti della sicurezza del sistema operativo
• 27 luglio 2022
  • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
  • [SPARK-39689] Supporto per dati di 2 caratteri nell'origine CSV
  • [SPARK-39575] Aggiunto ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer.
  • [SPARK-37392] Corretto il problema di prestazioni per l'ottimizzatore Catalyst.
  • Aggiornamenti della sicurezza del sistema operativo
• 13 luglio 2022
  • [SPARK-39419]ArraySort genera un'eccezione quando il comparatore restituisce null.
  • Disattivato l'uso di Auto Loader delle API cloud integrate per l'elenco delle directory su Azure.
  • Aggiornamenti della sicurezza del sistema operativo
• 5 luglio 2022
  • Aggiornamenti della sicurezza del sistema operativo
  • Correzioni varie.
• 15 giugno 2022
  • [SPARK-39283] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
• 2 giugno 2022
  • [SPARK-34554] Implementare il metodo copy() in ColumnarMap.
  • Aggiornamenti della sicurezza del sistema operativo
• 18 maggio 2022
  • Risolto un potenziale problema di perdita di memoria incorporata in Auto Loader.
  • Aggiornamento di AWS SDK dalla versione 1.11.655 alla 1.11.678.
  • [SPARK-38918] Il filtraggio delle colonne annidate dovrebbe eliminare gli attributi che non appartengono alla relazione corrente
  • [SPARK-39084] Correzione di df.rdd.isEmpty() tramite TaskContext per arrestare l'iteratore al completamento dell'attività
  • Aggiornamenti della sicurezza del sistema operativo
• 19 aprile 2022
  • Aggiornamenti della sicurezza del sistema operativo
  • Correzioni varie.
• 6 aprile 2022
  • [SPARK-38631] Utilizza un'implementazione basata su Java per estrarre file da un archivio tar in Utils.unpack.
  • Aggiornamenti della sicurezza del sistema operativo
• 22 marzo 2022
  • È stata modificata la directory di lavoro attuale dei notebook nei cluster a concorrenza elevata con controllo dell'accesso alle tabelle o inoltro delle credenziali abilitati alla directory home dell'utente. In precedenza, active directory era /databricks/driver.
  • [SPARK-38437] Serializzazione flessibile di data e ora da un'origine dati
  • [SPARK-38180] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
  • [SPARK-38155] Non consentire aggregazioni distinte nelle sottoquery laterali quando i predicati non sono supportati
  • [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
• 14 marzo 2022
  • [SPARK-38236] percorsi di file assoluti specificati nella tabella create/alter vengono considerati relativi
  • [SPARK-34069] Interrompere il thread dell'attività se la proprietà locale SPARK_JOB_INTERRUPT_ON_CANCEL è impostata su true.
• 23 febbraio 2022
  • [SPARK-37859] Le tabelle SQL create tramite JDBC con Spark 3.1 non sono leggibili con Spark 3.2.
• 8 febbraio 2022
  • [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
  • Aggiornamenti della sicurezza del sistema operativo
• 1 febbraio 2022
  • Aggiornamenti della sicurezza del sistema operativo
• 26 gennaio 2022
  • È stato risolto un problema per cui le transazioni simultanee nelle tabelle Delta potevano eseguire il commit in un ordine non serializzabile in determinate condizioni rare.
  • È stato risolto un problema per cui il comando OPTIMIZE poteva non riuscire quando il dialetto SQL ANSI era abilitato.
• 19 gennaio 2022
  • Correzioni secondarie e miglioramenti per la sicurezza.
  • Aggiornamenti della sicurezza del sistema operativo
• 4 novembre 2021
  • Corretto un problema che poteva causare il fallimento dei flussi di Streaming strutturato a causa di un errore ArrayIndexOutOfBoundsException.
  • Corretto una race condition che potrebbe causare un errore di query con un'eccezione IOException simile a java.io.IOException: No FileSystem for scheme o che potrebbe far sì che le modifiche a sparkContext.hadoopConfiguration non abbiano effetto nelle query.
  • Il connettore Apache Spark per la condivisione delta è stato aggiornato alla versione 0.2.0.
• 20 ottobre 2021
  • Aggiornamento del connettore BigQuery da 0.18.1 a 0.22.2. In questo modo viene aggiunto il supporto per il tipo BigNumeric.