Aggiornamenti di manutenzione di Databricks Runtime

Questa pagina elenca gli aggiornamenti di manutenzione per le versioni di Databricks Runtime supportate. Per aggiungere un aggiornamento di manutenzione a un cluster esistente, riavviare il cluster. Per gli aggiornamenti di manutenzione nelle versioni di Databricks Runtime non supportate, vedere Aggiornamenti della manutenzione di Databricks Runtime (archiviati).

Le versioni vengono distribuite in fasi. L'account Azure Databricks potrebbe non essere aggiornato per alcuni giorni dopo la data di rilascio iniziale.

Note

A partire da Databricks Runtime 19, gli aggiornamenti della manutenzione vengono pubblicati direttamente nella pagina delle note sulla versione unificata di ogni versione. Questa pagina illustra solo Databricks Runtime 18 e versioni precedenti. Vedere Ciclo di vita del supporto di Databricks Runtime.

Rilasci di Databricks Runtime

Aggiornamenti della manutenzione in base al rilascio:

Databricks Runtime 18 LTS

Vedere Databricks Runtime 18 LTS.

  • 10 novembre 2026

    • Librerie Python aggiornate:
      • HF-XET da 1.2.0 a 1.3.2
      • Pytz dal 2024.1 al 2026.5
      • Tzdata dal 2024.1 al 2026.5
    • [SPARK-59242][SQL] Proteggi la pulizia di DAGScheduler in SQLExecution in caso di SparkContext arrestato
    • [SPARK-58175] Descrittori FileDescriptorSet analizzati nella cache
    • [SPARK-57988][SQL] Racchiudere tra parentesi IN e altri operandi di predicati non di confronto di IS [NOT] NULL in V2ExpressionSQLBuilder
    • [SPARK-58204][SQL] Backport delle correzioni alle espressioni con stato
    • Aggiornamenti della sicurezza del sistema operativo

  • 3 novembre 2026

    • [SPARK-59580][SQL] Ridurre l'allocazione della cache di TreeNode
    • [SPARK-60228][SQL] Evita le ricerche quadratiche della cache per nome di tabella in CacheManager
    • [SPARK-60246][CORE] Chiudi il canale di download quando fetchFile fallisce
    • Aggiornamenti della sicurezza del sistema operativo

  • 23 ottobre 2026

    • Librerie Java aggiornate:
      • org.apache.zookeeper.zookeeper dalla 3.9.4 alla 3.9.5
      • org.apache.zookeeper.zookeeper-jute dalla 3.9.4 alla 3.9.5
    • Librerie Python aggiornate:
      • Certifi dal 26.4.2025 al 19.10.2026
    • [SPARK-57547][SQL] Correggi NPE in PartitionKeyedAccumulator durante la race condition di inizializzazione
    • [SPARK-59998][CORE] Rendere la concatenazione di LogEntry pigra
    • Aggiornamenti della sicurezza del sistema operativo

  • 8 ottobre 2026

    • Per le viste gestite di Unity Catalog, CREATE OR REPLACE VIEW ora supporta le clausole COPY * e NOCOPY *. Queste clausole controllano se la sostituzione preserva i metadati della vista esistente, come autorizzazioni, commenti e tag. Vedi CREATE VIEW.

  • 29 settembre 2026

    • [SPARK-57540][SQL] Istanzia Woodstox WstxOutputFactory ombreggiato direttamente in StaxXmlGenerator
    • Aggiornamenti della sicurezza del sistema operativo

  • 15 settembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 1 settembre 2026

    • (Cambiamento di comportamento) RESTORE e CLONE i comandi che modificano la partizionazione di una tabella possono essere bloccati se la tabella sorgente e quella target condividono un file comune.
    • [SPARK-58751][SPARK-58977] Backport della pulizia dei worker Python e dell'arresto del server di stato
    • [SPARK-58386][SS] Ripristinare la retrocompatibilità di SupportsRealTimeRead.nextWithTimeout
    • [SPARK-51268][SQL] Rendere TreeNode senza blocchi
    • [SPARK-58531][SQL][CONNECT] Rendi spark.sql.artifact.copyFromLocalToFs.allowDestLocal una configurazione statica
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 agosto 2026

    • [SPARK-58292][CORE] Ricrea il netty worker EventLoopGroup quando un thread del ciclo di eventi del worker muore
    • Aggiornamenti della sicurezza del sistema operativo

  • 4 agosto 2026

    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.13 da 1.4.0 a 1.4.1
    • Revert "[SPARK-57778][SOLO TEST] Aggiungi copertura HiFi per oggetti Oracle JDBC non selezionabili"
    • [SPARK-58107] Backport dedup-and-seal del local-checkpoint + verifica del checksum della fonte materializzata MERGE
    • [SPARK-57547][SQL] Riapplica InMemoryRelation la correzione di materializzazione concorrente
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 luglio 2026

    • (Modifica del comportamento) Gli utenti che si affidano a tipi personalizzati o di terze parti nelle chiusure DStream devono ora impostare spark.streaming.checkpoint.allowedClasses per tali tipi prima del recupero da checkpoint.
    • È stato corretto un bug di correttezza per cui le funzioni finestra min/max su una colonna BinaryType con un frame scorrevole (qualsiasi frame RANGE o un frame ROWS di dimensione pari o superiore a 10) restituivano il valore min/max globale cumulativo anziché il valore del frame.
    • [SPARK-53454][SQL][backport] Handle AlwaysTrue/AlwaysFalse in JDBCSQLBuilder
    • [SPARK-57778][SQL] Gestire oggetti Oracle JDBC che non sono selezionabili come tabelle
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 luglio 2026

    • [SPARK-57195][SQL] Surface MALFORMED_CSV_RECORD invece di ArrayIndexOutOfBoundsException nell'inferenza dello schema CSV
    • [SPARK-57593][SQL][PYTHON] Limita in byte e strumenta il batch di input Python UDF pickle
    • [SPARK-57243][18.3.2][SQL] Racchiudi IsNull e IsNotNull tra parentesi per V2 SQL Builder
    • Varie correzioni di bug.
  • 29 giugno 2026
    • (Modifica del comportamento) Le visualizzazioni delle metriche rifiutano ora le misure della finestra che fanno riferimento ad altre misure della finestra. In precedenza, questo schema veniva elaborato correttamente al momento di CREATE, ma in fase di interrogazione falliva silenziosamente o produceva risultati errati. Ora, Azure Databricks restituisce un messaggio di errore chiaro in fase di CREATE o ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Per disabilitare questa convalida, impostare spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled su false.
    • [SPARK-57088][SQL] Consentire un'espressione di ranking non deterministica per EXACT NEAREST BY
    • [SPARK-56652][SQL] Emetti sempre RELY/NORELY nell'output del vincolo DESCRIBE EXTENDED
    • [SPARK-57355][PYTHON] Correggi il controllo del modulo nel profiler UDF
    • [SPARK-56720][SS] Fallimento delle successive scritture di log asincroni dopo un precedente fallimento nel tracciamento del progresso asincrono
    • [SPARK-56977][SQL] RewriteNearestByJoin dovrebbe rispettare joinType nella join sintetica
    • [SPARK-57371][Connect] Correggi la condizione di race in ArrowDeserializers
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 17.3 LTS

Vedere Databricks Runtime 17.3 LTS.

  • 10 novembre 2026

    • Librerie Python aggiornate:
      • Pytz dal 2024.1 al 2026.5
      • Tzdata dal 2024.1 al 2026.5
    • [SPARK-58204][SQL] Backport delle correzioni delle espressioni stateful
    • [SPARK-55062] Backport delle estensioni proto2 alle funzioni protobuf
    • [SPARK-58175] Descrittori FileDescriptorSet analizzati nella cache
    • Aggiornamenti della sicurezza del sistema operativo

  • 3 novembre 2026

    • Librerie Java aggiornate:
      • com.microsoft.sqlserver.mssql-jdbc da 11.2.3.jre8, 11.2.3.jre8 a 11.2.4.jre8, 11.2.4.jre8
    • [SPARK-55133][CONNECT] Correzione della race condition nella gestione del ciclo di vita di IsolatedSessionState
    • [SPARK-60246][CORE] Chiudi il canale di download quando fetchFile fallisce
    • Aggiornamenti della sicurezza del sistema operativo

  • 23 ottobre 2026

    • Librerie Java aggiornate:
      • com.microsoft.sqlserver.mssql-jdbc da 11.2.2.jre8, 11.2.3.jre8 a 11.2.3.jre8, 11.2.3.jre8
      • org.apache.zookeeper.zookeeper dalla 3.9.3 alla 3.9.5
      • org.apache.zookeeper.zookeeper-jute da 3.9.3 a 3.9.5
    • Librerie Python aggiornate:
      • Certifi dal 26.4.2025 al 19.10.2026
    • [SPARK-57547][SQL] Correggi NPE in PartitionKeyedAccumulator durante una race condition di inizializzazione
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 settembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 settembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 1 settembre 2026

    • (Cambiamento di comportamento) RESTORE e CLONE i comandi che modificano la partizionazione di una tabella possono essere bloccati se la tabella sorgente e quella target condividono un file comune.
    • Librerie Java aggiornate:
      • io.netty.netty-all dal 4.1.118.Finale al 4.1.137.Finale
      • io.netty.netty-buffer dal 4.1.118.Final al 4.1.137.Final
      • io.netty.netty-codec da 4.1.118.Final a 4.1.137.Final
      • io.netty.netty-codec-http da 4.1.118.Final a 4.1.137.Final
      • io.netty.netty-codec-http2 da 4.1.118.Final a 4.1.137.Final
      • io.netty.netty-codec-socks da 4.1.118.Final a 4.1.137.Final
      • io.netty.netty-common dal 4.1.118.Finale al 4.1.137.Finale
      • io.netty.netty-handler dal 4.1.118.Finale al 4.1.137.Finale
      • io.netty.netty-handler-proxy dal 4.1.118.Final al 4.1.137.Final
      • io.netty.netty-resolver dal 4.1.118.Finale al 4.1.137.Finale
      • io.netty.netty-transport dal 4.1.118.Final al 4.1.137.Final
      • io.netty.netty-transport-classes-epoll dal 4.1.118.Finale al 4.1.137.Finale
      • io.netty.netty-transport-classes-kqueue da 4.1.118.Final a 4.1.137.Final
      • io.netty.netty-transport-native-epoll dal 4.1.118.Finale, 4.1.118.Finale, 4.1.118.Finale, 4.1.118.Finale al 4.1.137.Finale, 4.1.137.Finale, 4.1.137.Finale, 4.1.137.Final
      • io.netty.netty-transport-native-kqueue da 4.1.118.Final, 4.1.118.Final a 4.1.137.Final, 4.1.137.Final
      • io.netty.netty-transport-native-unix-common dal 4.1.118.Final al 4.1.137.Final
      • org.eclipse.jetty.jetty-client da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuazione da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi dal 9.4.53.v20231009 al 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet dalla versione 9.4.53.v20231009 alla versione 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server da 9.4.53.v20231009 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet da 9.4.53.v20231009 a 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Rendi spark.sql.artifact.copyFromLocalToFs.allowDestLocal una conf statica
    • [SPARK-58751][SPARK-58977] Backport pulizia dei worker Python e arresto del server di stato
    • [SPARK-58292][CORE] Ricrea il netty worker EventLoopGroup quando un thread del ciclo di eventi del worker muore
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 agosto 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 4 agosto 2026

    • [SPARK-57778][SOLO PER TEST] Correggere il test HiFi Oracle non selezionabile (schema dedicato)
    • [SPARK-58107] Backport dedup-and-seal del local-checkpoint + MERGE verifica del checksum del materialized-source
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 luglio 2026

    • È stato corretto un bug di correttezza per cui le funzioni finestra min/max su una colonna BinaryType con un frame scorrevole (qualsiasi frame RANGE o un frame ROWS di dimensione pari o superiore a 10) restituivano il valore min/max globale cumulativo anziché il valore del frame.
    • [SPARK-57778][SQL] Gestire oggetti Oracle JDBC che non sono selezionabili come tabelle
    • [SPARK-57371][Connect] Corregge la race condition in ArrowDeserializers
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 luglio 2026

    • [SPARK-57547][SQL] Backport della correzione della materializzazione concorrente InMemoryRelation a 17.3 (con interruttore di spegnimento)
    • Varie correzioni di bug.
  • 29 giugno 2026
    • (Modifica del comportamento) Le visualizzazioni delle metriche rifiutano ora le misure della finestra che fanno riferimento ad altre misure della finestra. In precedenza, questo schema veniva elaborato correttamente al momento di CREATE, ma in fase di interrogazione falliva silenziosamente o produceva risultati errati. Ora, Azure Databricks restituisce un messaggio di errore chiaro in fase di CREATE o ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Per disabilitare questa convalida, impostare spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled su false.
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 giugno 2026
    • (Modifica del comportamento) SET TAG è ora idempotente. La ripetizione di un'operazione SET TAG su una risorsa che dispone già del tag non genera più un errore.
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 maggio 2026
    • [SPARK-34591][ML] Aggiungi la potatura dell'albero decisionale come parametro
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 maggio 2026
    • (Modificare il comportamento) Elencare le tabelle usando un modello di schema non aggiorna più i metadati del catalogo Unity per le tabelle esterne, ad esempio SQL Server, PostgreSQL o AWS Glue. Questa modifica influisce su SHOW TABLES IN SCHEMA LIKE ..., getMetaData.getTables le chiamate nel driver JDBC quando viene passato un modello di schema e l'API Thrift SparkGetTablesOperation . Se il carico di lavoro dipende dall'aggiornamento dei metadati con un modello di schema, contattare il supporto di Databricks.
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.13 da 1.3.10 a 1.3.11
    • [SPARK-56361][SS] Messaggi di errore più chiari con registrazione nei log per NPE nella join stream-stream
    • Varie correzioni di bug.

  • 20 aprile 2026

    • Correzione dell'autorità del CRS per il tipo GEOMETRY(102100). L'autorità viene ora segnalata come ESRI:102100 anziché EPSG:102100.
    • È stato risolto un problema di correttezza dei dati nelle query MERGE, UPDATE e nelle query di scrittura di flusso, dove le strutture NULL nell'origine venivano espanse in strutture non-NULL con campi NULL nella destinazione. Gli struct NULL nell'origine vengono ora mantenuti come NULL nella destinazione. La correzione si applica alle operazioni seguenti:
      • MERGE con UPDATE SET t.structCol = s.structCol azioni che usano cast di tipo struct.
      • MERGE quando UPDATE SET * l'evoluzione dello schema è abilitata e la struct target non ha campi aggiuntivi o era originariamente NULL.
      • MERGE con UPDATE SET * EXCEPT quando la struct non ha campi nella EXCEPT lista.
      • MERGE con INSERT (structCol) VALUES (s.structCol) azioni che usano cast di tipo struct.
      • MERGE con INSERT * [EXCEPT] azioni che usano cast di tipo struct.
      • UPDATE Query con cast di tipo struct.
      • Scritture di streaming con cast dei tipi di struct.

  • 2 aprile 2026

    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.13 da 1.3.9 a 1.3.10
    • [SPARK-55811] [SQL] Cattura NonFatal invece di UnresolvedException quando si chiama nodeWithOutputColumnsString
    • [SPARK-55892][SS] Corretto impossibile caricare lo stato store perché il file SST riutilizzato è stato eliminato dalla manutenzione
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Supporta gli identificatori strutturati per i flussi nei protos di analisi eager SDP
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 marzo 2026

    • [SPARK-55493] [SS] Non eseguire mkdirs nella directory di stato dei checkpoint dello streaming in StateDataSource
    • [SPARK-55111][SS] Nuovo controllo del rilevamento del ripartizionamento incompleto al riavvio della query
    • [SPARK-55701] ES-1694761[SS] Correggere la condizione di race in CompactibleFileStreamLog.allFiles
    • Aggiornamenti della sicurezza del sistema operativo

  • 26 febbraio 2026

    • Librerie Java aggiornate:
      • org.mlflow.mlflow-spark_2.13 da 2.9.1 a 2.20.4
    • Aggiornamenti della sicurezza del sistema operativo

  • 19 febbraio 2026

    • Quando si deduce lo schema dei file di Excel, le celle stringa vengono ora dedotte come Spark StringType. Questo rispetta il tipo di cella impostato in Excel. In precedenza, le stringhe con valori numerici venivano automaticamente cast a tipi più stretti come Long o Decimal.
    • [SPARK-54887][CONNECT] Imposta sempre uno stato sql nel client Spark Connect
    • [SPARK-54887][CONNECT] Aggiungi sqlstate opzionale agli sparkthrowables
    • [SPARK-55097][SQL] Correzione del problema per cui la nuova aggiunta di artefatti memorizzati nella cache elimina silenziosamente i blocchi
    • [SPARK-55282][PYTHON][CONNECT] Evita di usare worker_util lato guidatore
    • [SPARK-49110][SQL] Semplifica SubqueryAlias.metadataOutput per propagare sempre le colonne dei metadati
    • [SPARK-55243][CONNECT] Consentire l'impostazione delle intestazioni binarie tramite il suffisso -bin nel client Scala Connect
    • Aggiornamenti della sicurezza del sistema operativo

  • 27 gennaio 2026

    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.13 da 1.3.8 a 1.3.9
    • Vedere sopra
    • [SPARK-54768][SS]La sorgente dati di flusso Python dovrebbe classificare l'errore se i dati restituiti non corrispondono allo schema configurato
    • [SPARK-54803] Supporta BY NAME con INSERT ... REPLACE WHERE
    • [SPARK-53564][CORE] Evita le uscite DAGScheduler a causa del timeout RPC del blockManager in DAGSchedulerEventProcessLoop
    • [SPARK-55015][SS][SQL] Correggi il calcolo di numFields di decodeRemainingKey in PrefixKeyScanStateEncoder
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 gennaio 2026
    • Librerie Python aggiornate:
      • pmdarima dalle 2.0.4 alle 2.1.1
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.13 da 1.3.6 a 1.3.8
    • È ora possibile usare le funzioni della finestra SQL come funzione scalare nelle dimensioni della visualizzazione delle metriche e nelle espressioni di misura.
    • [SPARK-54562][SDP][17.3 backport] Bloccare l'analisi / esecuzione eager all'interno della funzione di flusso dal lato server
    • [SPARK-54679][SQL] Rinominare spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Aggiungi un timeout per la connessione worker creata da daemon
    • [SPARK-53127][SQL] Correggi LIMIT ALL per la ricorsione non limitata con normalizzazione CTE
    • [SPARK-54708] Ottimizza la pulizia della cache ML con la creazione pigra di directory
    • [SPARK-54581][SQL] Rendere l'opzione fetchsize senza distinzione tra maiuscole e minuscole per il connettore Postgres
    • [SPARK-41916] [ML] Torch distributor: supporta più processi torchrun per compito se task.gpu.amount > 1
    • [SPARK-54564] [SQL] Rendi QueryPlanningTracker un campo di HybridAnalyzer
    • [SPARK-54620][SQL] Aggiungi un controllo di sicurezza in ObservationManager per evitare il blocco di Observation
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 dicembre 2025
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.13 da 1.3.5 a 1.3.6
    • [SPARK-50906][SQL] Correggere il controllo di nullabilità Avro per i campi di struct riordinati
    • [SPARK-54180][SQL] Sovrascrive la toString di BinaryFileFormat
    • [SPARK-54427][SQL] Permette a ColumnarRow di chiamare copy con tipi varianti
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 novembre 2025
    • [SPARK-54047][PYTHON] Usa un errore diverso in caso di terminazione per timeout di inattività
    • [SPARK-52762][SDP] Aggiungi il messaggio PipelineAnalysisContext per supportare l'analisi della pipeline durante l'esecuzione della query Spark Connect
    • [SPARK-54156][PROTOBUF] Classifica errori per errore di cast di ProtobufOptions
    • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimozione infra dal vecchio test
    • [SPARK-54015][PYTHON] Allenta il requisito Py4J a py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] Il parser della variante XML dovrebbe ripiegare sulla stringa in caso di errori di analisi decimale
    • [SPARK-54191][17.3 Backport][SDP] Aggiunta di once a Defineflow Proto
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2025
    • [SPARK-53729][PYTHON][CONNECT] Correggi la serializzazione di pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Correzione per SparkUnsupportedOperationException Impossibile trovare un codificatore di tipo T, usando la classe parametrizzata
    • [SPARK-53973][Avro] Classifica errori per l'errore di cast booleano di AvroOptions
    • [SPARK-53794][SS] Aggiungi un'opzione per limitare le cancellazioni per operazione di manutenzione associata al provider dello stato RocksDB
    • [SPARK-53908][CONNECT] Correggi le osservazioni su Spark Connect con la cache del piano di esecuzione
    • [SPARK-53972][SS] Correzione della regressione di recentProgress nelle query di streaming in PySpark classico
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 16.4 LTS

Vedere Databricks Runtime 16.4 LTS.

  • 10 novembre 2026

    • Librerie Python aggiornate:
      • Pytz dal 2024.1 al 2026.5
      • Aggiunto tzdata 2026.5
    • Aggiornamenti della sicurezza del sistema operativo

  • 3 novembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 23 ottobre 2026

    • Librerie Java aggiornate:
      • com.microsoft.sqlserver.mssql-jdbc da 11.2.2.jre8, 11.2.3.jre8 a 11.2.3.jre8, 11.2.3.jre8
    • Librerie Python aggiornate:
      • Certifi dal 26.4.2025 al 19.10.2026
    • [SPARK-57547][SQL] Correggi NPE in PartitionKeyedAccumulator durante una race condition di inizializzazione
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 settembre 2026

    • [SPARK-53069][SS] Corrette le metriche dell'archivio di stato errate con famiglie di colonne virtuali
    • Aggiornamenti della sicurezza del sistema operativo

  • 15 settembre 2026

    • Librerie Java aggiornate:
      • org.apache.zookeeper.zookeeper dalla 3.9.2 alla 3.9.5
      • org.apache.zookeeper.zookeeper-jute dalla 3.9.2 alla 3.9.5
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 settembre 2026

    • (Cambiamento di comportamento) RESTORE e CLONE i comandi che modificano la partizionazione di una tabella possono essere bloccati se la tabella sorgente e quella target condividono un file comune.
    • Librerie Java aggiornate:
      • org.eclipse.jetty.jetty-client da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuazione da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet da 9.4.52.v20230823 a 9.4.57.v20241219
    • [SPARK-58292][CORE] Ricrea il netty worker EventLoopGroup quando un thread del ciclo di eventi del worker muore
    • [SPARK-58531][SQL][CONNECT] Rendi spark.sql.artifact.copyFromLocalToFs.allowDestLocal una configurazione statica
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 agosto 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 4 agosto 2026

    • [SPARK-57547][SQL] Correzione della materializzazione concorrente backport InMemoryRelation a 16.4 (con interruttore di spegnimento)
    • [SPARK-58107] Backport dedup-and-seal di local-checkpoint + verifica del checksum della fonte materializzata MERGE
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 luglio 2026

    • È stato corretto un bug di correttezza per cui le funzioni finestra min/max su una colonna BinaryType con un frame scorrevole (qualsiasi frame RANGE o un frame ROWS di dimensione pari o superiore a 10) restituivano il valore min/max globale cumulativo anziché il valore del frame.
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 luglio 2026

    • Varie correzioni di bug.

  • 29 giugno 2026

    • (Modifica del comportamento) Le visualizzazioni delle metriche rifiutano ora le misure della finestra che fanno riferimento ad altre misure della finestra. In precedenza, questo schema veniva elaborato correttamente al momento di CREATE, ma in fase di interrogazione falliva silenziosamente o produceva risultati errati. Ora, Azure Databricks restituisce un messaggio di errore chiaro in fase di CREATE o ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Per disabilitare questa convalida, impostare spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled su false.

    • È stato risolto un problema di correttezza dei dati per cui i valori NULL di struct nei dati di origine venivano erroneamente espansi in struct non NULL con campi NULL nei dati di destinazione in MERGE, UPDATE e nelle query di scrittura in streaming. Dopo la modifica, le strutture NULL nel sorgente vengono correttamente preservate come NULL nella destinazione.

      Operazioni interessate:

      • MERGE Query con UPDATE SET t.structCol = s.structCol azioni con cast di tipo struct
      • MERGE query con UPDATE SET * quando l'evoluzione dello schema è abilitata (quando la struct sorgente è NULLA, sovrascrivi il target con NULL quando la struct target non ha campi aggiuntivi o era originariamente NULL)
      • MERGE query con UPDATE SET * EXCEPT (Quando la struct sorgente è NULL, sovrascrivi il target con NULL quando il target non ha campi nella lista EXCEPT)
      • MERGE Query con INSERT (structCol) VALUES (s.structCol) azioni con cast di tipo struct
      • MERGE query con INSERT * [EXCEPT] azioni con cast di tipo struct
      • UPDATE Query con cast di tipo struct
      • Scritture in streaming con conversione di tipo delle struct

    • Aggiornamenti della sicurezza del sistema operativo

  • 9 giugno 2026

    • (Modifica del comportamento) SET TAG è ora idempotente. La ripetizione di un'operazione SET TAG su una risorsa che dispone già del tag non genera più un errore.
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 maggio 2026
    • [SPARK-34591][ML] Aggiungi la potatura dell'albero decisionale come parametro
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 maggio 2026
    • (Modificare il comportamento) Elencare le tabelle usando un modello di schema non aggiorna più i metadati del catalogo Unity per le tabelle esterne, ad esempio SQL Server, PostgreSQL o AWS Glue. Questa modifica influisce su SHOW TABLES IN SCHEMA LIKE ..., getMetaData.getTables le chiamate nel driver JDBC quando viene passato un modello di schema e l'API Thrift SparkGetTablesOperation . Se il carico di lavoro dipende dall'aggiornamento dei metadati con un modello di schema, contattare il supporto di Databricks.
    • Librerie Java aggiornate:
      • (Solo per Scala 2.12) io.delta.delta-sharing-client_2.12 da 1.2.11 a 1.2.12
      • (solo Scala 2.13) io.delta.delta-sharing-client_2.13 da 1.2.11 a 1.2.12
    • [SPARK-56361][SS] Messaggio di errore più chiaro con logging in caso di NPE nella join stream-stream
    • Varie correzioni di bug.
  • 29 aprile 2026
    • Varie correzioni di bug.
  • 20 aprile 2026
    • Varie correzioni di bug.

  • 2 aprile 2026

    • Librerie Java aggiornate:
      • (solo Scala 2.12) io.delta.delta-sharing-client_2.12 da 1.2.10 a 1.2.11
      • (Solo Scala 2.13) io.delta.delta-sharing-client_2.13 da 1.2.10 a 1.2.11
    • [SPARK-55701] ES-1694761[SS] Correggi la condizione di race in CompactibleFileStreamLog.allFiles
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Supporta gli identificatori strutturati per i flussi nei protos di analisi eager SDP
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 marzo 2026

    • [SPARK-55111][SS] Nuovamente abilitato il rilevamento del ripartizionamento incompleto al riavvio della query
    • [SPARK-55493] [SS] Non fare mkdir nella directory di stato dei checkpoint in streaming in StateDataSource
    • Aggiornamenti della sicurezza del sistema operativo

  • 26 febbraio 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 19 febbraio 2026

    • [SPARK-55282][PYTHON][CONNECT] Evita di usare worker_util lato guidatore
    • [SPARK-55243][CONNECT] Consentire l'impostazione delle intestazioni binarie tramite il suffisso -bin nel client Scala Connect
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 gennaio 2026
    • Librerie Java aggiornate:
      • (Solo Scala 2.12) io.delta.delta-sharing-client_2.12 da 1.2.9 a 1.2.10
      • (solo Scala 2.12) org.mlflow.mlflow-spark_2.12 da 2.9.1 a 2.19.0
      • (Solo Scala 2.13) io.delta.delta-sharing-client_2.13 da 1.2.9 a 1.2.10
      • (solo Scala 2.13) org.mlflow.mlflow-spark_2.13 da 2.9.1 a 2.19.0
    • [SPARK-55015][SS][SQL] Correggi il calcolo di numFields di decodeRemainingKey in PrefixKeyScanStateEncoder
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 gennaio 2026
    • Librerie Java aggiornate:
      • (Solo Scala 2.12) io.delta.delta-sharing-client_2.12 da 1.2.8 a 1.2.9
      • (Solo Scala 2.13) io.delta.delta-sharing-client_2.13 da 1.2.8 a 1.2.9
    • [SPARK-54620][SQL] Aggiungi un controllo di sicurezza in ObservationManager per evitare il blocco di Observation
    • [SPARK-54711][PYTHON] Aggiungi un timeout per la connessione worker creata da daemon
    • [SPARK-41916] [ML] Torch distributor: supporta più processi torchrun per task se task.gpu.amount > 1
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 dicembre 2025
    • Le tabelle Delta partizionate avranno colonne di partizione materializzate nei file parquet di dati in futuro. Ciò consente una migliore sinergia con il modo in cui vengono gestite le tabelle Iceberg e UniForm e aumenta la compatibilità con i lettori esterni non Delta.
    • Sia per il connettore Snowflake che per Snowflake Lakehouse Federation, TIMESTAMP_NTZ i valori letterali (timestamp senza fuso orario) non vengono più inseriti in Snowflake. Questa modifica impedisce gli errori di query causati dalla gestione del timestamp incompatibile e migliora l'affidabilità per le query interessate.
    • [SPARK-54427][SQL] Permette a ColumnarRow di chiamare copy con tipi varianti
    • [SPARK-54180][SQL] Sovrascrive la toString di BinaryFileFormat
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 novembre 2025
    • [SPARK-54099][SQL] Il parser della variante XML dovrebbe ricorrere alla stringa in caso di errori di analisi dei decimali
    • [SPARK-54015][PYTHON] Allenta il requisito Py4J per py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimozione infra dal vecchio test
    • [SPARK-54156][PROTOBUF] Classifica errori per errore di cast di ProtobufOptions
    • [SPARK-54047][PYTHON] Usa un errore differenziale alla terminazione per timeout di inattività
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2025
    • Librerie R aggiornate:
      • freccia da 16.1.0 a 21.0.0
    • [SPARK-53973][Avro] Classifica errori per l'errore di cast booleano di AvroOptions
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 ottobre 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 7 ottobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correggi diversi piccoli bug nella logica di gestione degli errori del client Spark Connect Python
    • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidato
    • [SPARK-53623][SQL] Migliora la lettura delle proprietà di tabelle di grandi dimensioni...
    • [SPARK-53598][SQL] Controlla l'esistenza di numParts prima di leggere la proprietà di tabella grande
    • [SPARK-53549][SS] Chiudi sempre l'allocatore Arrow quando il processo di richiesta dello stato della lista è completato
    • Aggiornamenti della sicurezza del sistema operativo
  • 16 settembre 2025
    • Il connettore Snowflake usa ora la INFORMATION_SCHEMA tabella anziché il SHOW SCHEMAS comando per elencare gli schemi. Questa modifica rimuove il limite di 10.000 schemi dell'approccio precedente e migliora il supporto per i database con un numero elevato di schemi.
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 settembre 2025
    • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
    • Correzione di un errore temporaneo nel caricatore automatico che potrebbe causare l'esito negativo dei processi
    • [SPARK-49872][CORE] Rimossa la limitazione di lunghezza della stringa JSON di Jackson
    • [SPARK-51821][CORE] Chiamata a interrupt() senza mantenere uninterruptibleLock per evitare possibili blocchi
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 agosto 2025
    • Librerie Java aggiornate:
      • (solo Scala 2.12) io.delta.delta-sharing-client_2.12 da 1.2.7 a 1.2.8
      • (Solo Scala 2.13) io.delta.delta-sharing-client_2.13 da 1.2.7 a 1.2.8
    • [SPARK-52482][SQL][CORE] Migliora la gestione delle eccezioni per la lettura di alcuni file zstd corrotti
    • [SPARK-53192][CONNECT] Memorizza sempre una DataSource nella cache del piano Spark Connect
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 agosto 2025
    • [SPARK-51011][CORE] Aggiungi registrazione per indicare se un compito verrà interrotto quando viene ucciso
    • [SPARK-52833][SQL] Fix VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Mostra sempre le metriche del numero di partizioni vuote in AQEShuffleReadExec
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 luglio 2025
    • [SPARK-52753][SQL] Rendi parseDataType binario compatibile con le versioni precedenti
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 luglio 2025
    • Correzione di un problema di perdita di dati non deterministica quando si usa Spark Structured Streaming per trasmettere dati da Pulsar.
    • [SPARK-52579][PYTHON] Imposta un dump periodico di tracciamento per i lavoratori Python
    • [SPARK-52553][SS] Correzione di NumberFormatException quando si legge il changelog v1
    • [SPARK-52450] Migliora le prestazioni dello schema deepcopy
    • [SPARK-52503][SQL][CONNECT] Correggi drop quando la colonna di input non esiste
    • [SPARK-52599][PYTHON] Supporto al dump periodico di tracciamento nei lavoratori lato Driver
    • Aggiornamenti della sicurezza del sistema operativo
  • 1° luglio 2025
    • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
    • [SPARK-52521][SQL] Right#replacement non dovrebbe accedere dinamicamente a SQLConf
    • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore di sorgenti dati file
    • [SPARK-52312][SQL] Ignorare V2WriteCommand durante la memorizzazione nella cache del DataFrame
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2025
    • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
    • Risolti i problemi di autorizzazione del catalogo Unity per le query sulle viste temporanee.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference dovrebbe mantenere l'id del piano
    • Aggiornamenti della sicurezza del sistema operativo
  • 3 giugno 2025
    • [SPARK-52195][PYTHON][SS] Correggi il problema di drop della colonna di stato iniziale per Python TWS
    • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
    • Varie correzioni di bug.
  • 7 maggio 2025
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.13 da 1.2.3 a 1.2.7
      • org.apache.avro.avro da 1.11.3 a 1.11.4
      • org.apache.avro.avro-ipc da 1.11.3 a 1.11.4
      • org.apache.avro.avro-mapred da 1.11.3 a 1.11.4
    • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
    • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
    • Prima di questa modifica, gli spazi vuoti iniziali e le schede nei percorsi nell'espressione variant_get venivano ignorati con Photon disabilitato. Ad esempio, select variant_get(parse_json('{"key": "value"}'), '$['key']') non sarebbe efficace nell'estrazione del valore di "key". Tuttavia, gli utenti saranno in grado di estrarre tali chiavi ora.
    • [SPARK-51935][SQL] Corretto il comportamento pigro degli iteratori in df.collect() interpretato
    • [SPARK-51921][SS][PYTHON] Usa il tipo lungo per la durata TTL in millisecondi in transformWithState
    • [SPARK-51940][SS] Aggiungi interfaccia per la gestione dei metadati dei checkpoint in streaming
    • [SPARK-52049] Corretto il bug per cui gli attributi XML non potevano essere analizzati come Variant
    • [SPARK-51904][SS] Rimozione della purga asincrona dei metadati per StateSchemaV3 e ignorare i file non batch quando si elencano i file OperatorMetadata
    • [SPARK-51869][SS] Crea una classificazione per gli errori utente all'interno degli UDF per Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Correggi un bug per MapState clear() in Python TWS
    • [SPARK-51922] [SS] Correzione di UTFDataFormatException lanciata da StateStoreChangelogReaderFactory per v1
    • [SPARK-51848][SQL] Correggi l'analisi dei record XML con uno schema definito di array/struct/mappa di Variante
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 15.4 LTS

Vedi Databricks Runtime 15.4 LTS.

  • 10 novembre 2026

    • Librerie Python aggiornate:
      • Pytz dal 2022.7 al 2026.5
      • Tzdata dal 2022.1 al 2026.5
    • Librerie Java aggiornate:
      • Aggiunto at.yawk.lz4.lz4-java 1.8.1
      • Rimosso org.lz4.lz4-java 1.8.0
    • Aggiornamenti della sicurezza del sistema operativo

  • 3 novembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 23 ottobre 2026

    • Librerie Python aggiornate:
      • Certifi dal 26.4.2025 al 19.10.2026
    • [SPARK-57547][SQL] Correggi NPE in PartitionKeyedAccumulator durante la condizione di gara di inizializzazione
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 settembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 settembre 2026

    • Librerie Java aggiornate:
      • com.microsoft.sqlserver.mssql-jdbc da 11.2.3.jre8, 11.2.3.jre8 a 11.2.3.jre8, 11.2.4.jre8
    • [SPARK-41246][CORE] Errore immediato in caso di overflow dell'ID RDD; analizzare gli ID dei blocchi negativi come misura di sicurezza (cherry-pick su dbr-branch-15.4)
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 settembre 2026

    • (Cambiamento di comportamento) RESTORE e CLONE i comandi che modificano la partizionazione di una tabella possono essere bloccati se la tabella sorgente e quella target condividono un file comune.
    • Librerie Java aggiornate:
      • org.eclipse.jetty.jetty-client da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuazione da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet da 9.4.52.v20230823 a 9.4.57.v20241219
    • [SPARK-58292][CORE] Ricrea il netty worker EventLoopGroup quando un thread di ciclo evento worker muore
    • [SPARK-58531][SQL][CONNECT] Rendi spark.sql.artifact.copyFromLocalToFs.allowDestLocal una configurazione statica
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 agosto 2026

    • Librerie Java aggiornate:
      • com.microsoft.sqlserver.mssql-jdbc da 11.2.2.jre8, 11.2.3.jre8 a 11.2.3.jre8, 11.2.3.jre8
    • Aggiornamenti della sicurezza del sistema operativo

  • 4 agosto 2026

    • [SPARK-58107] Backport dedup-and-seal del local-checkpoint + verifica del checksum della fonte materializzata MERGE
    • [SPARK-57547][SQL] Correzione della materializzazione concorrente backport InMemoryRelation a 15.4 (con kill switch)
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 luglio 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 10 luglio 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 29 giugno 2026

    • (Modifica del comportamento) Le visualizzazioni delle metriche rifiutano ora le misure della finestra che fanno riferimento ad altre misure della finestra. In precedenza, questo schema veniva elaborato correttamente al momento di CREATE, ma in fase di interrogazione falliva silenziosamente o produceva risultati errati. Ora, Azure Databricks restituisce un messaggio di errore chiaro in fase di CREATE o ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Per disabilitare questa convalida, impostare spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled su false.

    • È stato risolto un problema di correttezza dei dati per cui i valori NULL di struct nei dati di origine venivano erroneamente espansi in struct non NULL con campi NULL nei dati di destinazione in MERGE, UPDATE e nelle query di scrittura in streaming. Dopo la modifica, le strutture NULL nel sorgente vengono correttamente preservate come NULL nella destinazione.

      Operazioni interessate:

      • MERGE Query con UPDATE SET t.structCol = s.structCol azioni con cast di tipo struct
      • MERGE query con UPDATE SET * quando l'evoluzione dello schema è abilitata (quando la struct sorgente è NULLA, sovrascrivi il target con NULL quando la struct target non ha campi aggiuntivi o era originariamente NULL)
      • MERGE query con UPDATE SET * EXCEPT (Quando la struct sorgente è NULL, sovrascrivi il target con NULL quando non ci sono campi nella lista EXCEPT)
      • MERGE Query con INSERT (structCol) VALUES (s.structCol) azioni con cast di tipo struct
      • MERGE query con INSERT * [EXCEPT] azioni con cast a struct
      • UPDATE Query con cast di tipo struct
      • Scritture in streaming con conversione di tipo delle struct

    • Aggiornamenti della sicurezza del sistema operativo

  • 9 giugno 2026

    • Aggiornamenti della sicurezza del sistema operativo
  • 26 maggio 2026
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 maggio 2026
    • (Modificare il comportamento) Elencare le tabelle usando un modello di schema non aggiorna più i metadati del catalogo Unity per le tabelle esterne, ad esempio SQL Server, PostgreSQL o AWS Glue. Questa modifica influisce su SHOW TABLES IN SCHEMA LIKE ..., getMetaData.getTables le chiamate nel driver JDBC quando viene passato un modello di schema e l'API Thrift SparkGetTablesOperation . Se il carico di lavoro dipende dall'aggiornamento dei metadati con un modello di schema, contattare il supporto di Databricks.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 aprile 2026
    • Varie correzioni di bug.
  • 20 aprile 2026
    • Varie correzioni di bug.

  • 2 aprile 2026

    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.10 a 1.1.11
    • Il caricatore automatico include due nuove funzionalità correlate alla gestione della posizione di origine e alla visibilità in DBR 16.3: 1. Registra i cambiamenti degli eventi: con questa modifica, i clienti potranno utilizzare il cloud_files_state TVF per visualizzare dettagli di scoperta e elaborazione dei file come l'ora in cui un file è stato originariamente scoperto, l'ora in cui è stato effettuato, archiviato, ecc. Vedi la documentazione pubblica attuale di questo TVF qui. 2. Pulisci origine: con questa funzione, i clienti possono istruire Auto Loader a eliminare automaticamente i file che sono stati elaborati. I clienti possono acconsentire esplicitamente a questa funzionalità usando l'opzione cloudFiles.cleanSource Auto Loader. Per altri dettagli, vedere la documentazione relativa alle opzioni del caricatore automatico qui.
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 marzo 2026

    • [SPARK-55701] ES-1694761[SS] Correggi la condizione di race in CompactibleFileStreamLog.allFiles
    • [SPARK-55111][SS] Ripristino del rilevamento del ripartizionamento incompleto al riavvio della query
    • Aggiornamenti della sicurezza del sistema operativo

  • 26 febbraio 2026

    • Librerie Java aggiornate:
      • org.mlflow.mlflow-spark_2.12 da 2.9.1 a 2.11.3
    • Aggiornamenti della sicurezza del sistema operativo

  • 19 febbraio 2026

    • [SPARK-55243][CONNECT] Consentire l'impostazione delle intestazioni binarie tramite il suffisso -bin nel client Scala Connect
    • [SPARK-55282][PYTHON][CONNECT] Evita di usare worker_util lato guidatore
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 gennaio 2026
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.9 a 1.1.10
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 gennaio 2026
    • Le tabelle Delta partizionate avranno colonne di partizione materializzate nei file parquet di dati in futuro. Ciò consente una migliore sinergia con il modo in cui vengono gestite le tabelle Iceberg e UniForm e aumenta la compatibilità con i lettori esterni non Delta.
    • [SPARK-54620][SQL] Aggiungi un controllo di sicurezza in ObservationManager per evitare il blocco da parte di Observation
    • [SPARK-54711][PYTHON] Aggiungi un timeout per la connessione worker creata da daemon
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 dicembre 2025
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.7 a 1.1.9
    • [SPARK-54427][SQL] Permette a ColumnarRow di chiamare copy con tipi varianti
    • [SPARK-52579][PYTHON] Imposta un dump periodico di tracciamento per i lavoratori Python
    • [SPARK-54180][SQL] Sovrascrive la toString di BinaryFileFormat
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 novembre 2025
    • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimozione infra dal vecchio test
    • [SPARK-54047][PYTHON] Usa un errore di differenza per la terminazione per timeout di inattività
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2025
    • Librerie R aggiornate:
      • freccia da 14.0.0.2 a 21.0.0
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 ottobre 2025
    • I criteri di fotonizzazione della scansione sono aggiornati per consentire la fotonizzazione della scansione quando è necessaria la verifica del checksum.
      Determinare se è necessaria la verifica del checksum proviene ora dalla conf hadoop anziché da SQLConf.
    • Aggiornamenti della sicurezza del sistema operativo
  • 7 ottobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correzione di diversi piccoli bug nella logica di gestione degli errori del client Spark Connect Python
    • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione annidata del piano
    • Varie correzioni di bug.
  • 16 settembre 2025
    • Il connettore Snowflake usa ora la INFORMATION_SCHEMA tabella anziché il SHOW SCHEMAS comando per elencare gli schemi. Questa modifica rimuove il limite di 10.000 schemi dell'approccio precedente e migliora il supporto per i database con un numero elevato di schemi.
    • [SPARK-50870][SQL] Aggiungi il fuso orario durante il cast al timestamp in V2ScanRelationPushDown
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 settembre 2025
    • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
    • Correzione di un errore temporaneo nel caricatore automatico che potrebbe causare l'esito negativo dei processi
    • [SPARK-51821][CORE] Chiamare interrupt() senza mantenere uninterruptibleLock per evitare possibili blocchi
    • [SPARK-49872][CORE] Rimozione della limitazione di lunghezza della stringa JSON di Jackson
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 agosto 2025
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.6 a 1.1.7
    • [SPARK-52482][SQL][CORE] Migliora la gestione delle eccezioni per la lettura di alcuni file zstd corrotti
    • [SPARK-53192][CONNECT] Memorizza sempre una DataSource nella cache del piano Spark Connect
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 agosto 2025
    • [SPARK-51011][CORE] Aggiungi registrazione per indicare se un compito verrà interrotto quando viene ucciso
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 luglio 2025
    • Aggiornamenti della sicurezza del sistema operativo

  • 21 luglio 2025

    • Per il calcolo abilitato per Photon o usa la CPU basata su Arm64, mlflow-skinny viene aggiornato alla versione 2.19.0, ray viene aggiornato alla versione 2.37.0 e databricks-feature-engineering viene aggiornato a 0.8.0.

  • 15 luglio 2025

    • Correzione di un problema di perdita di dati non deterministica quando si usa Spark Structured Streaming per trasmettere dati da Pulsar.
    • [SPARK-52503][SQL][CONNECT] Correzione di drop quando la colonna di input non esiste
  • 1° luglio 2025
    • Librerie Java aggiornate:
      • org.mlflow.mlflow-spark_2.12 da 2.9.1 a 2.11.3
      • Rimosso com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Rimosso org.slf4j.slf4j-simple 1.7.25
    • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
    • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
    • [SPARK-52521][SQL] Right#replacement non dovrebbe accedere dinamicamente a SQLConf
    • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore di sorgenti dati file
    • [SPARK-52312][SQL] Ignorare V2WriteCommand durante il caching del DataFrame
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2025
    • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
    • [SPARK-49646][SQL] correggere la decorrelazione della subquery per operazioni union/set quando parentOuterReferences ha riferimenti non coperti in collectedChildOuterReferences
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference dovrebbe mantenere l'id del piano
  • 3 giugno 2025
    • Librerie Python aggiornate:
      • crittografia dalla versione 3.4.8, 41.0.3 alla versione 41.0.3
      • filelock da 3.13.4, da 3.15.4 a 3.13.4
      • importlib-metadata dalla versione 4.6.4, 6.0.0 alla 6.0.0
      • platformdirs dalla versione 3.10.0, dalla 3.11.0 alla versione 3.10.0
      • pyparsing da 2.4.7, 3.0.9 a 3.0.9
      • zipp da 1.0.0 e 3.11.0 a 3.11.0
      • Aggiunto pip 23.2.1
      • Aggiunto setuptools 68.0.0
      • Aggiunto wcwidth 0.2.5
      • Aggiunta ruota 0.38.4
      • Rimossa la distribuzione 1.7.0
      • Rimosso il pacchetto distro-info 1.1+ubuntu0.2
      • Rimosso python-apt 2.4.0+ubuntu4
    • Librerie Java aggiornate:
      • com.github.fommil.netlib.native_ref-java dalla versione 1.1, 1.1-natives alla versione 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dalla versione 1.1, 1.1 nativa alla versione 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 da 1.1-natives a 1.1
      • "com.github.fommil.netlib.netlib-native_system-linux-x86_64" da "1.1-natives" a "1.1"
      • io.netty.netty-tcnative-boringssl-static da 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll da 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue da 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 a 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core da 1.9.2-shaded-protobuf a 1.9.2
      • org.apache.orc.orc-mapreduce da 1.9.2-shaded-protobuf a 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider da 1.6.2-linux-x86_64 a 1.6.2
    • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
    • Aggiornamenti della sicurezza del sistema operativo
  • 20 maggio 2025
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.5 a 1.1.6
    • La sessione clonata di streaming verrà usata all'interno della funzione utente foreachBatch nei Cluster Condivisi/Serverless. Questo comportamento è allineato al comportamento nel modello classico (Cluster assegnati).
    • Prima di questa modifica, gli spazi vuoti iniziali e le schede nei percorsi nell'espressione variant_get venivano ignorati con Photon disabilitato. Ad esempio, select variant_get(parse_json('{"key": "value"}'), '$['key']') non sarebbe efficace nell'estrazione del valore di "key". Tuttavia, gli utenti saranno in grado di estrarre tali chiavi ora.
    • [SPARK-51935][SQL] Corretto il comportamento pigro degli iteratori in df.collect() in modalità interpretata
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 aprile 2025
    • Librerie Java aggiornate:
      • org.apache.avro.avro da 1.11.3 a 1.11.4
      • org.apache.avro.avro-ipc da 1.11.3 a 1.11.4
      • org.apache.avro.avro-mapred da 1.11.3 a 1.11.4
    • Ripristina "[SPARK-47895][SQL] group by alias deve essere idempotente" nelle versioni 15.4, 16.0, 16.1, 16.2 e 16.3
    • [SPARK-50682][SQL] L'Alias Interno dovrebbe essere canonicato
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 aprile 2025
    • (Modificare il comportamento) Per applicare patch di sicurezza critiche, la versione di Python predefinita viene aggiornata a Python 3.11.11 da Python 3.11.0rc1. Questo aggiornamento potrebbe influire su alcuni carichi di lavoro in esecuzione su Databricks Runtime 15.4 LTS, ad esempio i carichi di lavoro che usano la serializzazione di Python per archiviare e ripristinare lo stato tra le esecuzioni o carichi di lavoro fissati alla versione 3.11.0 di Python.
    • Librerie Java aggiornate:
      • Rimosso io.starburst.openjson.openjson 1.8-e.12
      • Rimosso io.starburst.openx.data.json-serde 1.3.9-e.12
      • Rimosso io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias dovrebbe essere idempotente
    • [SPARK-51624][SQL] Propagazione dei metadati GetStructField in CreateNamedStruct.dataType
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 marzo 2025
    • Per il calcolo non abilitato per Photon, databricks-feature-engineering viene aggiornato alla versione 0.8.0. Per il calcolo abilitato per Photon, databricks-feature-engineering rimane a 0.6.0.

  • 11 marzo 2025

    • Databricks Runtime 14.3 LTS e versioni successive includono una correzione per un problema che ha causato incompatibilità binarie con il codice che ha creato un'istanza di una classe SparkListenerApplicationEnd ed è stato compilato contro Apache Spark. Questa incompatibilità ha causato l'unione di SPARK-46399 in Apache Spark. Questa unione includeva una modifica che aggiungeva un argomento predefinito al costruttore SparkListenerApplicationEnd. Per ripristinare la compatibilità binaria, questa correzione aggiunge un singolo costruttore di argomenti alla classe SparkListenerApplicationEnd.
    • [SPARK-50985][SS] Classifica l'errore di mancata corrispondenza degli offset temporali di Kafka invece di usare un'asserzione e generare un errore per server mancante in KafkaTokenProvider
    • [SPARK-50791][SQL] Correggi NPE nella gestione degli errori dello State Store
    • [SPARK-50310][PYTHON] Migliora le prestazioni della colonna quando il DQC è disabilitato
    • [SPARK-51222][SQL] Ottimizza ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Piccolo miglioramento del log per la query streaming lato server ListenerBus Listener
    • [SPARK-51084][SQL] Assegna la classe di errore appropriata per negativeScaleNotAllowedError
    • Aggiornamenti della sicurezza del sistema operativo

  • 11 febbraio 2025

    • Questa versione include una correzione per un problema che interessa la conversione di determinati tipi di dati durante la serializzazione delle colonne di dati XML salvate. I tipi di dati interessati sono date, timestamp non NTZ e decimali quando prefersDecimal è abilitato. Per altre informazioni sulla colonna di dati salvata, vedere Qual è la colonna di dati salvata?.
    • [SPARK-50492][SS] Correzione di java.util.NoSuchElementException quando la colonna del tempo dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
    • Aggiornamenti della sicurezza del sistema operativo
    • Per il calcolo non abilitato per Photon, mlflow-skinny viene aggiornato alla versione 2.19.0. Per il calcolo abilitato per Photon, mlflow-skinny rimane alla versione 2.13.1.
  • 10 dicembre 2024
    • Ora l'istruzione USE CATALOG supporta la clausola IDENTIFIER. Con questo supporto, è possibile parametrizzare il catalogo corrente in base a una variabile stringa o a un marcatore di parametro.
    • Questa versione include una correzione per un problema che potrebbe causare l'eliminazione della chiave primaria su una tabella Delta in alcuni casi particolari legati alla compattazione automatica in background.
    • Con questa versione, le dimensioni della cache usate da un'unità SSD in un nodo di calcolo di Databricks si espandono dinamicamente fino alle dimensioni iniziali dell'unità SSD e si riducono quando necessario, fino al spark.databricks.io.cache.maxDiskUsage limite. Consulta Ottimizza le prestazioni con la cache su Azure Databricks
    • Il pacchetto pyodbc viene aggiornato dalla versione 4.0.38 alla versione 4.0.39. Questa modifica è necessaria perché è stato rilevato un bug nella versione 4.0.38 e tale versione è stata rimossa da PyPI.
    • [SPARK-50329][SQL] correzione di InSet$toString
    • [SPARK-47435][SQL] Correggi il problema di overflow di MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Supportare IDENTIFIER espressione nell'istruzione SETCATALOG
    • [SPARK-50426][PYTHON] Evita la ricerca statica di fonti dati Python quando usi fonti dati integrate o Java
    • [SPARK-48863][SQL] Correggi ClassCastException durante l'analisi JSON con "spark.sql.json.enablePartialResults" abilitato
    • [SPARK-50310][PYTHON] Aggiungi un flag per disabilitare DataFrameQueryContext per PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Correggere il problema di errata segnalazione degli errori fatali come eccezioni non rilevate in SparkUncaughtExceptionHandler
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 novembre 2024
    • Con questa versione è ora possibile eseguire una query sulla funzione vector_search usando query_text per l'input di testo o query_vector per l'incorporamento dell'input.
    • È ora possibile impostare un timeout per le query spark Connect usando la proprietà di configurazione spark spark.databricks.execution.timeout. Per i notebook in esecuzione nel calcolo serverless, il valore predefinito è 9000 (secondi). I processi in esecuzione nel calcolo serverless e nel calcolo con modalità di accesso standard non hanno un timeout a meno che questa proprietà di configurazione non sia impostata. Un'esecuzione che dura più a lungo del timeout specificato genera un errore QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Correggere l'identificatore parametrizzato in una sottoquery
    • [SPARK-49615] [ML] Fai in modo che la convalida dello schema del dataset per tutti i trasformatori di funzionalità ML sia conforme alla configurazione "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET dovrebbe preservare l'ordinamento dei dati
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 novembre 2024
    • (Modifica che causa un'interruzione) In Databricks Runtime 15.4 LTS e versioni successive, la gestione delle espressioni regolari in Photon viene aggiornata in modo che corrisponda al comportamento della gestione delle espressioni regolari di Apache Spark. In precedenza, le funzioni di espressione regolare eseguite da Photon, ad esempio split() e regexp_extract(), accettano alcune espressioni regolari rifiutate dal parser Spark. Per mantenere la coerenza con Apache Spark, le query Photon avranno ora esito negativo per le espressioni regolari considerate da Spark non valide. A causa di questa modifica, è possibile che vengano visualizzati errori se il codice Spark include espressioni regolari non valide. Ad esempio, l'espressione split(str_col, '{'), che contiene una parentesi graffa non corrispondente ed è stata accettata in precedenza da Photon, ora ha esito negativo. Per correggere questa espressione, è possibile utilizzare il carattere di escape per la parentesi graffa: split(str_col, '\\{'). Il comportamento di Photon e Spark differisce anche per alcune espressioni regolari corrispondenti a caratteri non ASCII. Viene aggiornato anche in modo che Photon corrisponda al comportamento di Apache Spark.
    • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute con output figlio
    • [SPARK-49867][SQL] Migliorare il messaggio di errore quando l'indice è fuori dai limiti chiamando GetColumnByOrdinal
    • [SPARK-49863][SQL] Correggi NormalizeFloatingNumbers per preservare la nullabilità delle struct annidate
    • [SPARK-49829] Rivedere l'ottimizzazione per aggiungere input allo state store nella join stream-stream (correzione di correttezza)
    • [SPARK-49905] Usa ShuffleOrigin dedicato per l'operatore con stato per evitare che lo shuffle venga modificato da AQE
    • [SPARK-46632][SQL] Correggere l'eliminazione delle sottoespressioni quando espressioni ternari equivalenti hanno figli diversi
    • [SPARK-49443][SQL][PYTHON] Implementa l'espressione to_variant_object e fa sì che le espressioni schema_of_variant stampino OBJECT per gli oggetti Variant
    • [SPARK-49615] Correzione di bug: far sì che la validazione dello schema delle colonne ML sia conforme alla configurazione spark.sql.caseSensitive di Spark.
  • 22 ottobre 2024
    • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute con output figlio
    • [SPARK-49867][SQL] Migliorare il messaggio di errore quando l'indice è fuori dai limiti chiamando GetColumnByOrdinal
    • [SPARK-49863][SQL] Correggi NormalizeFloatingNumbers per preservare la nullabilità delle struct annidate
    • [SPARK-49829] Rivedere l'ottimizzazione per aggiungere input allo state store nella join stream-stream (correzione di correttezza)
    • [SPARK-49905] Usa ShuffleOrigin dedicato per l'operatore con stato per evitare che lo shuffle venga modificato da AQE
    • [SPARK-46632][SQL] Correggere l'eliminazione delle sottoespressioni quando espressioni ternari equivalenti hanno figli diversi
    • [SPARK-49443][SQL][Python] Implementare l'espressione to_variant_object e fare in modo che le espressioni schema_of_variant stampino OBJECT per gli oggetti Variant
    • [SPARK-49615] Correzione di bug: la validazione dello schema delle colonne ML è conforme alla configurazione di spark spark.sql.caseSensitive.
  • 10 ottobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non dovrebbe modificare i campi di schema durante la potatura di GetArrayStructFields
    • [SPARK-49688][CONNECT] Correggi una race condition tra l'interruzione e l'esecuzione del piano
    • [BACKPORT] [SPARK-49474][SS] Classificare la classe di errore per l'errore della funzione utente FlatMapGroupsWithState
    • [SPARK-49460][SQL] Followup: correggere il potenziale rischio NPE
  • 25 settembre 2024
    • [SPARK-49628][SQL] ConstantFolding dovrebbe copiare l'espressione con stato prima di valutare
    • [SPARK-49000][SQL] Correzione di “select count(distinct 1) from t” dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Tentato riattacco su ExecutionHolder inattivo
    • [SPARK-49458][CONNECT][PYTHON] Fornire l'ID sessione lato server tramite ReattachExecute
    • [SPARK-49017][SQL] L'istruzione Insert fallisce quando vengono utilizzati più parametri
    • [SPARK-49451] Consentire chiavi duplicate in parse_json.
    • Varie correzioni di bug.
  • 17 settembre 2024
    • [SPARK-48463][ML] Make binarizer, bucketizer, assembler vettoriale, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor supportano colonne di input annidate
    • [SPARK-49409][CONNECT] Regola il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Supporto per i percorsi in stile Windows in ArtifactManager
    • Annulla “[SPARK-48482][PYTHON] dropDuplicates e dropDuplicatesWithinWatermark devono accettare argomenti di lunghezza variabile”
    • [SPARK-43242][CORE] Corregge l'errore 'Tipo inaspettato di BlockId' nella diagnosi di corruzione nello shuffle
    • [SPARK-49366][CONNECT] Tratta il nodo Union come foglia nella risoluzione della colonna del dataframe
    • [SPARK-49018][SQL] Corretto il problema per cui approx_count_distinct non funziona correttamente con la collazione
    • [SPARK-49460][SQL] Rimuovere cleanupResource() da EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader non riesce a gestire correttamente il null
    • [SPARK-49336][CONNECT] Limita il livello di annidamento quando tronchi un messaggio protobuf
  • 29 agosto 2024
    • L'output di un'istruzione SHOW CREATE TABLE include ora tutti i filtri di riga o le maschere di colonna definite in una vista materializzata o in una tabella di streaming. Vedi SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtri di riga e maschere di colonna.
    • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni dello streaming.
    • [SPARK-48941][SPARK-48970] Backport delle correzioni al writer/reader ML
    • [SPARK-49074][SQL] Correzione della variante con df.cache()
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestione coerente delle opzioni booleane del reader DataFrame
    • [SPARK-48955][SQL] Include modifiche di ArrayCompact in 15.4
    • [SPARK-48937][SQL] Aggiungi il supporto alla collazione per le espressioni di stringhe StringToMap
    • [SPARK-48929] Correggi l'errore interno della visualizzazione e pulisci il contesto delle eccezioni del parser
    • [SPARK-49125][SQL] Consentire la duplicazione dei nomi delle colonne nella scrittura CSV
    • [SPARK-48934][SS] Tipi di datatime in Python convertiti erroneamente per impostare il timeout in applyInPandasWithState
    • [SPARK-48843] Prevenire il ciclo infinito con BindParameters
    • [SPARK-48981] Correggi il metodo simpleString di StringType in pyspark per le collazioni
    • [SPARK-49065][SQL] Il ribasamento in formattatori/parser legacy deve supportare fusi orari diversi da quello predefinito della JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport delle correzioni del writer Spark ML
    • [SPARK-48725][SQL] Integra CollationAwareUTF8String.lowerCaseCodePoints nelle espressioni delle stringhe
    • [SPARK-48978][SQL] Implementa il fast path ASCII nel supporto alla collation per UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Tronca il messaggio per il logging
    • [SPARK-49146][SS] Sposta errori di asserzione relativi alla mancanza di watermark nelle query streaming in modalità append al framework di errore
    • [SPARK-48977][SQL] Ottimizza la ricerca delle stringhe sotto UTF8_LCASE collation
    • [SPARK-48889][SS] testStream per scaricare gli store dello stato prima di finire
    • [SPARK-48463] Fai in modo che StringIndexer supporti colonne di input annidate
    • [SPARK-48954] try_mod() sostituisce try_remainder()
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 14.3 LTS

Consulta Databricks Runtime 14.3 LTS.

  • 10 novembre 2026

    • Librerie Python aggiornate:
      • Pytz dal 2022.7 al 2026.5
      • Aggiunto tzdata 2026.5
    • Librerie Java aggiornate:
      • org.postgresql.postgresql da 42.6.0 a 42.6.1
      • Aggiunto at.yawk.lz4.lz4-java 1.8.1
      • Rimosso org.lz4.lz4-java 1.8.0
    • Aggiornamenti della sicurezza del sistema operativo

  • 3 novembre 2026

    • Librerie Java aggiornate:
      • com.microsoft.sqlserver.mssql-jdbc da 11.2.3.jre8, 11.2.3.jre8 a 11.2.4.jre8, 11.2.4.jre8
    • Aggiornamenti della sicurezza del sistema operativo

  • 23 ottobre 2026

    • Librerie Python aggiornate:
      • Certifi dal 7.12.2022 al 19.10.2026
    • [SPARK-57547][SQL] Correggi NPE in PartitionKeyedAccumulator durante la condizione di gara di inizializzazione
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 settembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 settembre 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 1 settembre 2026

    • (Cambiamento di comportamento) RESTORE e CLONE i comandi che modificano la partizionazione di una tabella possono essere bloccati se la tabella sorgente e quella target condividono un file comune.
    • Librerie Java aggiornate:
      • org.eclipse.jetty.jetty-client da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuazione da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server da 9.4.52.v20230823 a 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet da 9.4.52.v20230823 a 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Rendere spark.sql.artifact.copyFromLocalToFs.allowDestLocal una configurazione statica
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 agosto 2026

    • Librerie Java aggiornate:
      • com.microsoft.sqlserver.mssql-jdbc da 11.2.2.jre8, 11.2.3.jre8 a 11.2.3.jre8, 11.2.3.jre8
    • Aggiornamenti della sicurezza del sistema operativo

  • 4 agosto 2026

    • [SPARK-58107] Backport dedup-and-seal del local-checkpoint + verifica del checksum della sorgente materializzata di MERGE
    • [SPARK-57547][SQL] Backport della correzione per la materializzazione concorrente InMemoryRelation a 14.3 (con kill switch)
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 luglio 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 10 luglio 2026

    • Aggiornamenti della sicurezza del sistema operativo
  • 29 giugno 2026
    • (Modifica del comportamento) Le visualizzazioni delle metriche rifiutano ora le misure della finestra che fanno riferimento ad altre misure della finestra. In precedenza, questo schema veniva elaborato correttamente al momento di CREATE, ma in fase di interrogazione falliva silenziosamente o produceva risultati errati. Ora, Azure Databricks restituisce un messaggio di errore chiaro in fase di CREATE o ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Per disabilitare questa convalida, impostare spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled su false.
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 giugno 2026
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 maggio 2026
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 maggio 2026
    • (Modificare il comportamento) Elencare le tabelle usando un modello di schema non aggiorna più i metadati del catalogo Unity per le tabelle esterne, ad esempio SQL Server, PostgreSQL o AWS Glue. Questa modifica influisce su SHOW TABLES IN SCHEMA LIKE ..., getMetaData.getTables le chiamate nel driver JDBC quando viene passato un modello di schema e l'API Thrift SparkGetTablesOperation . Se il carico di lavoro dipende dall'aggiornamento dei metadati con un modello di schema, contattare il supporto di Databricks.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 aprile 2026
    • Varie correzioni di bug.
  • 20 aprile 2026
    • Varie correzioni di bug.

  • 2 aprile 2026

    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.7 a 1.1.11
    • Il caricatore automatico include due nuove funzionalità correlate alla gestione della posizione di origine e alla visibilità in DBR 16.3: 1. Registra i cambiamenti degli eventi: con questa modifica, i clienti potranno utilizzare il cloud_files_state TVF per visualizzare dettagli di scoperta e elaborazione dei file come l'ora in cui un file è stato originariamente scoperto, l'ora in cui è stato effettuato, archiviato, ecc. Vedi la documentazione pubblica attuale di questo TVF qui. 2. Fonte pulita: con questa funzione, i clienti possono istruire Auto Loader a eliminare automaticamente i file che sono stati elaborati. I clienti possono acconsentire esplicitamente a questa funzionalità usando l'opzione cloudFiles.cleanSource Auto Loader. Per altri dettagli, vedere la documentazione relativa alle opzioni del caricatore automatico qui.
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 marzo 2026

    • [SPARK-55111][SS] Nuovo check-in del rilevamento del ripartizionamento incompleto al riavvio della query
    • [SPARK-55701] ES-1694761[SS] Correzione di una race condition in CompactibleFileStreamLog.allFiles
    • Aggiornamenti della sicurezza del sistema operativo

  • 26 febbraio 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 19 febbraio 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 27 gennaio 2026

    • Aggiornamenti della sicurezza del sistema operativo

  • 9 gennaio 2026

    • Le tabelle Delta partizionate avranno colonne di partizione materializzate nei file parquet di dati in futuro. Ciò consente una migliore sinergia con il modo in cui vengono gestite le tabelle Iceberg e UniForm e aumenta la compatibilità con i lettori esterni non Delta.
    • [SPARK-54711][PYTHON] Aggiungere un timeout per la connessione del worker creato dal daemon
    • Aggiornamenti della sicurezza del sistema operativo

  • 9 dicembre 2025

    • [SPARK-52579][PYTHON] Imposta un dump periodico di tracciamento per i lavoratori Python
    • [SPARK-54180][SQL] Sovrascrive la toString di BinaryFileFormat
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 novembre 2025
    • [SPARK-54078][SS] Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimozione infra dal vecchio test
    • [SPARK-54047][PYTHON] Usa un errore differenziale quando kill-on-idle-timeout
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2025
    • Librerie R aggiornate:
      • freccia da 12.0.1 a 21.0.0
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 ottobre 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 7 ottobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correggi diversi piccoli bug nella logica di gestione degli errori del client Spark Connect Python
    • [SPARK-53574] Correzione della cancellazione di AnalysisContext durante la risoluzione del piano annidato
    • Varie correzioni di bug.
  • 16 settembre 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 settembre 2025
    • È stato risolto un problema che poteva causare un blocco indefinito del caricatore automatico.
    • [SPARK-49872][CORE] Rimossa la limitazione di lunghezza della stringa JSON Jackson
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 agosto 2025
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.6 a 1.1.7
    • [SPARK-52482][SQL][CORE] Migliora la gestione delle eccezioni per la lettura di alcuni file zstd corrotti
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 agosto 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 luglio 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 luglio 2025
    • [SPARK-52503][SQL][CONNECT] Correzione di drop quando la colonna di input non esiste
    • Varie correzioni di bug.
  • 1° luglio 2025
    • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
    • Supporto della decompressione ZStandard per i lettori di fonti dati da file (json, csv, xml e testo).
    • [SPARK-52521][SQL] Right#replacement non dovrebbe accedere dinamicamente a SQLConf
    • [SPARK-52482][SQL][CORE] Supporto ZStandard per il lettore di sorgenti dati file
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2025
    • Correzione della limitazione per cui la cloud_files_state funzione con valori di tabella (TVF) non può essere usata per leggere lo stato a livello di file delle tabelle di streaming tra le pipeline.
    • [SPARK-49646][SQL] Corretta la decorrelazione della subquery per operazioni union/set quando parentOuterReferences ha riferimenti non coperti in collectedChildOuterReferences
  • 3 giugno 2025
    • Librerie Python aggiornate:
      • crittografia da 3.4.8, 39.0.1 a 39.0.1
      • platformdirs dalla 2.6.2 alla 2.5.2
      • pyparsing da 2.4.7, 3.0.9 a 3.0.9
      • Aggiunta di pip 22.3.1
      • Setuptools 65.6.3 aggiunto
      • Aggiunta di tomli 2.0.1
      • Aggiunto wcwidth 0.2.5
      • Aggiunta ruota 0.38.4
      • Rimossa la distribuzione 1.7.0
      • Rimosso il pacchetto distro-info 1.1+ubuntu0.2
      • Rimosso python-apt 2.4.0+ubuntu4
    • Librerie Java aggiornate:
      • com.github.fommil.netlib.native_ref-java dalla versione 1.1, 1.1-natives alla versione 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dalla versione 1.1, 1.1 nativa alla versione 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 da 1.1-natives a 1.1
      • "com.github.fommil.netlib.netlib-native_system-linux-x86_64" da "1.1-natives" a "1.1"
      • io.netty.netty-tcnative-boringssl-static da 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll da 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue da 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 a 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core da 1.9.2-shaded-protobuf a 1.9.2
      • org.apache.orc.orc-mapreduce da 1.9.2-shaded-protobuf a 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider aggiornamento da versione 1.6.1-linux-x86_64 a versione 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference dovrebbe mantenere l'id del piano
    • [SPARK-52159][SQL] Gestire correttamente il controllo dell'esistenza delle tabelle per i dialetti jdbc
    • Aggiornamenti della sicurezza del sistema operativo
  • 20 maggio 2025
    • Librerie Java aggiornate:
      • io.delta.delta-sharing-client_2.12 da 1.1.5 a 1.1.6
    • [SPARK-51935][SQL] Corretto il comportamento pigro degli iteratori in df.collect() in modalità interpretata
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 aprile 2025
    • Aggiornamenti della sicurezza del sistema operativo

  • 9 aprile 2025

    • [Modifica comportamento] Le operazioni vacuum eseguono ora controlli del protocollo writer simili ad altre operazioni, impedendo operazioni di pulizia impreviste nelle tabelle con funzionalità più recenti quando vengono eseguite da versioni precedenti di Databricks Runtime non compatibili.
    • [SPARK-51624][SQL] Propagazione dei metadati GetStructField in CreateNamedStruct.dataType
    • Aggiornamenti della sicurezza del sistema operativo

  • 11 marzo 2025

    • Databricks Runtime 14.3 LTS e versioni successive includono una correzione per un problema che ha causato incompatibilità binarie con il codice che ha creato un'istanza di una classe SparkListenerApplicationEnd ed è stato compilato contro Apache Spark. Questa incompatibilità ha causato l'unione di SPARK-46399 in Apache Spark. Questa unione includeva una modifica che aggiungeva un argomento predefinito al costruttore SparkListenerApplicationEnd. Per ripristinare la compatibilità binaria, questa correzione aggiunge un singolo costruttore di argomenti alla classe SparkListenerApplicationEnd.
    • [SPARK-50791][SQL] Correggi NPE nella gestione degli errori dello State Store
    • [SPARK-50705][SQL] Rendere QueryPlan senza blocchi
    • [SPARK-49525][SS][CONNECT] Piccolo miglioramento del log per la query streaming lato server ListenerBus Listener
    • Aggiornamenti della sicurezza del sistema operativo

  • 11 febbraio 2025

    • Questa versione include una correzione per un problema che interessa la conversione di determinati tipi di dati durante la serializzazione delle colonne di dati XML salvate. I tipi di dati interessati sono date, timestamp non NTZ e decimali quando prefersDecimal è abilitato. Per altre informazioni sulla colonna di dati salvata, vedere Qual è la colonna di dati salvata?.
    • [SPARK-50492][SS] Correggi java.util.NoSuchElementException quando la colonna di tempo dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Assegna la classe di errore appropriata per negativoScaleNotAllowedError
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 dicembre 2024
    • Questa versione include una correzione per un problema che potrebbe causare l'eliminazione della chiave primaria su una tabella Delta in alcuni casi particolari legati alla compattazione automatica in background.
    • [SPARK-50329][SQL] correzione di InSet$toString
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 novembre 2024
    • [SPARK-49615] [ML] Fai in modo che la convalida dello schema dei dataset di tutti i trasformatori di funzionalità ML sia conforme alla configurazione "spark.sql.caseSensitive".
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 novembre 2024
    • [SPARK-48843] Previene il ciclo infinito con BindParameters
    • [SPARK-49829] Rivedere l'ottimizzazione per aggiungere input allo state store nella join stream-stream (correzione di correttezza)
    • [SPARK-49863][SQL] Correggi NormalizeFloatingNumbers per preservare la nullabilità delle struct annidate
    • [BACKPORT] [SPARK-49326][SS] Classificare la classe di errore per l'errore della funzione utente nel sink Foreach
    • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute con output figlio
    • [SPARK-46632][SQL] Correggere l'eliminazione delle sottoespressioni quando espressioni ternarie equivalenti hanno figli diversi
    • [SPARK-49905] Usa ShuffleOrigin dedicato per l'operatore con stato per evitare che lo shuffle venga modificato da AQE
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 ottobre 2024
    • [SPARK-48843] Prevenire il ciclo infinito con BindParameters
    • [SPARK-49863][SQL] Correggi NormalizeFloatingNumbers per preservare la nullabilità delle struct annidate
    • [SPARK-49905] Usa ShuffleOrigin dedicato per l'operatore con stato per evitare che lo shuffle venga modificato da AQE
    • [SPARK-46632][SQL] Correggere l'eliminazione delle sottoespressioni quando espressioni ternari equivalenti hanno figli diversi
    • [SPARK-49782][SQL] La regola ResolveDataFrameDropColumns risolve UnresolvedAttribute con output figlio
    • [BACKPORT] [SPARK-49326][SS] Classificare la classe di errore per l'errore della funzione utente nel sink Foreach
    • [SPARK-49829] Rivedere l'ottimizzazione per aggiungere input al state store nella join stream-stream (correzione di correttezza)
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 ottobre 2024
    • [BACKPORT] [SPARK-49474][SS] Classificare la classe di errore per l'errore della funzione utente FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr non dovrebbe modificare i campi di schema durante la potatura di GetArrayStructFields
    • [SPARK-49688][CONNECT] Correggi una race condition sui dati tra l'interruzione e l'esecuzione del piano
  • 25 settembre 2024
    • [SPARK-48810][CONNECT] L'API di sessione stop() dovrebbe essere idempotente e non fallire se la sessione è già chiusa dal server
    • [SPARK-48719][SQL] Correzione del bug di calcolo di `RegrS...
    • [SPARK-49000][SQL] Correggi "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding dovrebbe copiare l'espressione con stato prima di valutare
    • [SPARK-49492][CONNECT] Tentato riattacco su ExecutionHolder inattivo
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 settembre 2024
    • [SPARK-49336][CONNECT] Limita il livello di annidamento durante il troncamento di un messaggio protobuf
    • [SPARK-43242][CORE] Corregge l'errore 'Tipo inatteso di BlockId' nella diagnosi della corruzione nello shuffle
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor supportare colonne di input annidate
    • [SPARK-49526][CONNECT] Supporto ai percorsi in stile Windows in ArtifactManager
    • [SPARK-49409][CONNECT] Regola il valore predefinito di CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Tratta il nodo Union come foglia nella risoluzione della colonna del dataframe
  • 29 agosto 2024
    • [SPARK-49146][SS] Sposta errori di asserzione relativi alla mancanza di watermark nelle query streaming in modalità append al framework di errore
    • [SPARK-48862][PYTHON][CONNECT] Evita di chiamare _proto_to_string quando il livello INFO non è abilitato
    • [SPARK-49263][CONNECT] Client Python Spark Connect: gestisce costantemente le opzioni booleane del lettore DataFrame
  • 14 agosto 2024
    • [SPARK-48941][SPARK-48970] Backport delle correzioni del writer/reader ML
    • [SPARK-48706][PYTHON] Python UDF nelle funzioni di ordine superiore non dovrebbe generare errori interni
    • [SPARK-49056][SQL] ErrorClassesJsonReader non riesce a gestire correttamente il null
    • [SPARK-48597][SQL] Introduzione di un marcatore per la proprietà isStreaming nella rappresentazione testuale del piano logico
    • [SPARK-49065][SQL] Il ribasamento nei formattatori/parser legacy deve supportare fusi orari diversi da quello predefinito della JVM
    • [SPARK-48934][SS] Tipi di datatime in Python convertiti erroneamente per impostare il timeout in applyInPandasWithState
  • 1 agosto 2024
    • Questa versione include una correzione di bug per le classi ColumnVector e ColumnarArray nell'interfaccia spark Java. Prima di questa correzione, un ArrayIndexOutOfBoundsException potrebbe essere generato o potrebbero essere restituiti dati non corretti quando un'istanza di una di queste classi conteneva valori null.
    • Nei calcoli serverless per i notebook e le attività, la modalità SQL ANSI è abilitata per impostazione predefinita. Consultare i parametri di configurazione supportati di Spark.
    • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni dello streaming.
    • L'output di un'istruzione SHOW CREATE TABLE include ora tutti i filtri di riga o le maschere di colonna definite in una vista materializzata o in una tabella di streaming. Vedi SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtri di riga e maschere di colonna.
    • Nel calcolo configurato con la modalità di accesso condiviso, le operazioni di lettura e scrittura batch Kafka ora hanno le stesse limitazioni applicate a quelle documentate per lo Structured Streaming. Vedere Limitazioni dello streaming.
    • L'output di un'istruzione SHOW CREATE TABLE include ora tutti i filtri di riga o le maschere di colonna definite in una vista materializzata o in una tabella di streaming. Vedi SHOW CREATE TABLE. Per informazioni sui filtri di riga e sulle maschere di colonna, vedere Filtri di riga e maschere di colonna.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport delle correzioni al writer di Spark ML
    • [SPARK-48889][SS] testStream per scaricare gli state store prima di finire
    • [SPARK-48705][PYTHON] Usa esplicitamente worker_main quando inizia con pyspark
    • [SPARK-48047][SQL] Ridurre la pressione di memoria dei tag TreeNode vuoti
    • [SPARK-48544][SQL] Ridurre la pressione di memoria dei BitSet di TreeNode vuoti
    • [SPARK-46957][CORE] Il decommissioning dovrebbe essere in grado di pulire dall'executor i file shuffle migrati
    • [SPARK-48463] Consentire a StringIndexer di supportare colonne di input annidate
    • [SPARK-47202][PYTHON] Correggi l'errore di battitura che comprometteva gli oggetti datetime con tzinfo
    • [SPARK-47713][SQL][CONNECT] Corretto un errore in un self-join
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • (Modifica del comportamento) I DataFrame memorizzati nella cache contro le fonti della tabella Delta vengono invalidati se la tabella di origine viene sovrascritta. Questa modifica indica che tutte le modifiche dello stato apportate alle tabelle Delta ora invalidano i risultati memorizzati nella cache. Usare .checkpoint() per rendere persistente lo stato di una tabella per tutta la durata di un dataframe.
    • Il driver JDBC Snowflake viene aggiornato alla versione 3.16.1.
    • Questa versione include la correzione di un problema che impediva la visualizzazione corretta della scheda Ambiente interfaccia utente Spark durante l'esecuzione in Databricks Container Services.
    • Nei calcoli serverless per i notebook e le attività, la modalità SQL ANSI è abilitata per impostazione predefinita. Consultare i parametri di configurazione supportati di Spark.
    • Per ignorare le partizioni non valide durante la lettura dei dati, le origini dati basate su file, ad esempio Parquet, ORC, CSV o JSON, possono impostare l'opzione ignoreInvalidPartitionPaths dell'origine dati su true. Ad esempio: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…). È possibile usare anche la configurazione SQL spark.sql.files.ignoreInvalidPartitionPaths. Tuttavia, l'opzione origine dati ha la precedenza sulla configurazione SQL. Per impostazione predefinita, il valore è false.
    • [SPARK-48648][PYTHON][CONNECT] Fai in modo che SparkConnectClient.tags siano correttamente threadlocali
    • [SPARK-48445][SQL] Non inserire UDF in linea con figli costosi
    • [SPARK-48481][SQL][SS] Non applicare OptimizeOneRowPlan contro il dataset in streaming
    • [SPARK-48383][SS] Genera un messaggio di errore migliore per partizioni non corrispondenti nell'opzione startOffset in Kafka
    • [SPARK-48503][SQL] Correzione di sottoquery scalari non valide con group-by su colonne non equivalenti che sono state erroneamente consentite
    • [SPARK-48100][SQL] Correzione dei problemi nell'evitare i campi di struttura annidati non selezionati nello schema
    • [SPARK-48273][SQL] Correggere la riscrittura tardiva di PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Aggiorna CommonExpressionRef quando necessario
    • [SPARK-48475][PYTHON] Ottimizza _get_jvm_function in PySpark.
    • [SPARK-48292][CORE] Annulla [SPARK-39195][SQL] Spark OutputCommitCoordinator dovrebbe interrompere la fase quando il file di commit non è coerente con lo stato del task
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • applyInPandasWithState() è disponibile su compute con modalità di accesso standard.
    • Corregge un bug in cui l'ottimizzazione della finestra di classificazione usando Photon TopK gestisce erroneamente le partizioni con struct.
    • [SPARK-48310][PYTHON][CONNECT] Le proprietà memorizzate nella cache devono restituire copie
    • [SPARK-48276][PYTHON][CONNECT] Aggiungi il metodo mancante __repr__ per SQLExpression
    • [SPARK-48294][SQL] Gestire la minuscola in nestedTypeMissingElementTypeError
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • (Modifica del comportamento) dbutils.widgets.getAll() è ora supportato per ottenere tutti i valori del widget in un notebook.
    • Correzione di un bug nella funzione try_divide() in cui gli input contenenti decimali generavano eccezioni impreviste.
    • [SPARK-48056][CONNECT][PYTHON] Rieseguire il piano se viene generato un errore di SESSION_NOT_FOUND e non si riceve una risposta parziale
    • [SPARK-48146][SQL] Corretta la funzione aggregata nell'asserzione del figlio dell'espressione With
    • [SPARK-47986][CONNECT][PYTHON] Impossibile creare una nuova sessione quando la sessione predefinita viene chiusa dal server
    • [SPARK-48180][SQL] Migliorare l'errore quando in una chiamata UDTF con TABLE arg si omettono le parentesi intorno a più espressioni PARTITION/ORDER BY
    • [SPARK-48016][SQL] Corretto un bug nella funzione try_divide quando si usano i decimali
    • [SPARK-48197][SQL] Evitare l'errore di assert per una funzione lambda invalida
    • [SPARK-47994][SQL] Correggi un bug con il filtro della colonna CASE WHEN push down in SQLServer
    • [SPARK-48173][SQL] CheckAnalysis dovrebbe vedere l'intero piano di query
    • [SPARK-48105][SS] Correggi la condizione di gara tra lo scarico dello store di stato e lo snapshotting
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • (Modifica del comportamento) applyInPandas E mapInPandas i tipi UDF sono ora supportati nel calcolo in modalità di accesso condiviso che esegue Databricks Runtime 14.3 LTS e versioni successive.
    • [SPARK-47739][SQL] Registrare il tipo logico avro
    • [SPARK-47941] [SS] [Connect] Propaga gli errori di inizializzazione dei worker ForeachBatch agli utenti per PySpark
    • [SPARK-48010][SQL] Evitare chiamate ripetute a conf.resolver in resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Controllo di validità per riferimento LCA non risolto
    • [SPARK-47543][CONNECT][PYTHON] Inferenza di dict come MapType da Pandas DataFrame per consentire la creazione di DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Usa callback asincrona per la pulizia dell'esecuzione
    • [SPARK-47764][CORE][SQL] Pulizia delle dipendenze shuffle in base a ShuffleCleanupMode
    • [SPARK-48018][SS] Correzione di null groupId che causa errore di param mancante quando si lancia KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Correggi un bug nell'aggregazione in RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignora i tag riga trovati in CDATA
    • [SPARK-47895][SQL] group by all dovrebbe essere idempotente
    • [SPARK-47973][CORE] Registrare il sito di chiamata in SparkContext.stop() e successivamente in SparkContext.assertNotStopped()
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • [SPARK-47543][CONNECT][PYTHON] Inferire dict come MapType da Pandas DataFrame per consentire la creazione di DataFrame
    • [SPARK-47694][CONNECT] Rendere la dimensione massima del messaggio configurabile lato client
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Valida il nome della colonna con uno schema memorizzato nella cache
    • [SPARK-47862][PYTHON][CONNECT]Correzione della generazione dei file proto
    • Annulla “[SPARK-47543][CONNECT][PYTHON] Inferendo come dict dal DataFrame Pandas per consentire la creazione del DataFrame”
    • [SPARK-47704][SQL] L'analisi JSON fallisce con "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults è abilitato
    • [SPARK-47812][CONNECT] Supporto per la serializzazione di SparkSession per il worker ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introduce la cache del piano in SparkConnectPlanner per migliorare le prestazioni delle richieste di analisi
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite non riesce con piano non valido
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2024
    • (modifica del comportamento) Per garantire un comportamento coerente tra i tipi di calcolo, le UDF PySpark sui sistemi di calcolo con modalità di accesso standard ora corrispondono al comportamento delle UDF sui cluster senza isolamento e su quelli assegnati. Questo aggiornamento include le modifiche seguenti che potrebbero interrompere il codice esistente:
      • Le funzioni definite dall'utente con un tipo restituito string non convertono più in modo implicito i valori non-string in valori string. In precedenza, le UDF con un tipo restituito di str avrebbero eseguito il wrapping del valore restituito con una funzione str() indipendentemente dal tipo di dati effettivo del valore restituito.
      • Le funzioni definite dall'utente con i tipi di ritorno timestamp non applicano più implicitamente una conversione a timestamp con timezone.
      • Le configurazioni del cluster Spark spark.databricks.sql.externalUDF.* non si applicano più agli UDF di PySpark nel calcolo con modalità di accesso standard.
      • La configurazione spark.databricks.safespark.externalUDF.plan.limit del cluster Spark non interessa più le UDF di PySpark, eliminando la limitazione dell'Anteprima Pubblica di 5 UDF per query per le UDF di PySpark.
      • La configurazione del cluster Spark spark.databricks.safespark.sandbox.size.default.mib non si applica più agli UDF PySpark nel calcolo con modalità di accesso standard. Viene invece utilizzata la memoria disponibile nel sistema. Per limitare la memoria delle UDF in PySpark, utilizzare spark.databricks.pyspark.udf.isolation.memoryLimit con un valore minimo di 100m.
    • Il tipo di dati TimestampNTZ è ora supportato come colonna di clustering con il clustering liquido. Vedere Usare clustering liquido per le tabelle.
    • [SPARK-47511][SQL] Rendi canoniche le espressioni With riassegnando gli ID
    • [SPARK-47509][SQL] Bloccare le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
    • [SPARK-46990][SQL] Correggi il caricamento dei file Avro vuoti emessi dagli event-hub
    • [SPARK-47638][PS][CONNECT] Salta la validazione del nome della colonna in PS
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • [SPARK-47135][SS] Implementa classi di errore per le eccezioni di perdita dati di Kafka
    • [SPARK-47176][SQL] Aggiungere una funzione helper ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Passa l'identificatore della tabella a row data source scan exec per la strategia V2.
    • [SPARK-47044][SQL] Aggiungi query eseguita per fonti dati JDBC esterne per spiegare l'output
    • [SPARK-47167][SQL] Aggiungi una classe concreta per la relazione anonima JDBC
    • [SPARK-47070] Correzione dell'aggregazione non valida dopo la riscrittura della sottoquery
    • [SPARK-47121][CORE] Evitare le RejectedExecutionExceptions durante l'arresto di StandaloneSchedulerBackend
    • Annullare “[SPARK-46861][CORE] Evitare il deadlock in DAGScheduler”
    • [SPARK-47125][SQL] Restituisci null se Univocity non attiva mai l'analisi parsing
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier dovrebbe includere altre espressioni nell'albero delle espressioni
    • [SPARK-47129][CONNECT][SQL] Fare in modo che ResolveRelations il piano cache connect funzioni correttamente
    • [SPARK-47241][SQL] Correzione dei problemi di ordine delle regole per ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protocollo per listener lato client
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto un problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • La creazione di uno schema con un percorso definito richiede ora che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
    • [SPARK-47071][SQL] Rendi inline l'espressione WITH se contiene espressione speciale
    • [SPARK-47059][SQL] Allega il contesto di errore per il comando ALTER COLUMN v1
    • [SPARK-46993][SQL] Correzione del constant folding per le variabili di sessione
    • Aggiornamenti della sicurezza del sistema operativo
  • 3 gennaio 2024
    • [SPARK-46933] Aggiungi la metrica del tempo di esecuzione delle query ai connettori che usano JDBCRDD.
    • [SPARK-46763] Correggere il fallimento dell'asserzione in ReplaceDeduplicateWithAggregate per attributi duplicati.
    • [SPARK-46954] XML: Avvolgi InputStreamReader con BufferedReader.
    • [SPARK-46655] Salta la cattura del contesto della query nei metodi DataFrame.
    • [SPARK-44815] Memorizza df.schema per evitare RPC extra.
    • [SPARK-46952] XML: Limita la dimensione del record corrotto.
    • [SPARK-46794] Rimuovi le sottoquery dai vincoli di LogicalRDD.
    • [SPARK-46736] mantenere il campo del messaggio vuoto nel connettore protobuf.
    • [SPARK-45182] Ignora il completamento del compito dalla vecchia fase dopo aver riprovato la fase parent indeterminata come determinato dal checksum.
    • [SPARK-46414] Usare prependBaseUri per renderizzare le importazioni JavaScript.
    • [SPARK-46383] Riduci l'uso del mucchio driver riducendo la durata di TaskInfo.accumulables().
    • [SPARK-46861] Evita lo stallo in DAGScheduler.
    • [SPARK-46954] XML: Ottimizza la ricerca dell'indice dello schema.
    • [SPARK-46676] dropDuplicatesWithinWatermark non dovrebbe fallire nella canonicizzazione del piano.
    • [SPARK-46644] Modifica add e merge in SQLMetric per usare isZero.
    • [SPARK-46731] Gestire l'istanza del provider dello state store per l'origine dati di stato - lettore.
    • [SPARK-46677] Corregge la risoluzione di dataframe["*"].
    • [SPARK-46610] La creazione della tabella dovrebbe lanciare un'eccezione quando non c'è alcun valore per una chiave nelle opzioni.
    • [SPARK-46941] Non si può inserire il nodo limite del gruppo finestra per il calcolo top-k se contiene SizeBasedWindowFunction.
    • [SPARK-45433] Correggere l'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a un timestampFormat specificato.
    • [SPARK-46930] Aggiungi il supporto per un prefisso personalizzato per i campi di tipo Union in Avro.
    • [SPARK-46227] Backport alla 14.3.
    • [SPARK-46822] Rispettare spark.sql.legacy.charVarcharAsString quando si esegue il cast del tipo jdbc al tipo Catalyst in jdbc.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 9.1 LTS

  • 9 aprile 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 marzo 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 febbraio 2025
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 dicembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 novembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 novembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 ottobre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 ottobre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 settembre 2024
    • [SPARK-49000][SQL] Correggi "select count(distinct 1) from t" dove t è una tabella vuota espandendo RewriteDistinctAggregates
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 settembre 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 agosto 2024
    • [SPARK-49065][SQL] Il ribasamento in formattatori/parser legacy deve supportare fusi orari diversi da quello predefinito della JVM
  • 14 agosto 2024
  • 1 agosto 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 luglio 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 giugno 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 21 maggio 2024
    • [SPARK-48105][SS] Risolta la race condition tra lo scaricamento dello store di stato e lo snapshotting
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 maggio 2024
    • [SPARK-47973][CORE] Registra il punto di chiamata in SparkContext.stop() e successivamente in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Imposta correttamente nullable sulla chiave di join coalescita in una join FULL OUTER USING
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2024
    • Varie correzioni di bug.
  • 11 aprile 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 aprile 2024
    • Annullare “[SPARK-46861][CORE] Evitare il deadlock in DAGScheduler”
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 febbraio 2024
    • È stato risolto un problema per cui l'uso di una raccolta locale come origine in un comando MERGE poteva causare il doppio del numero corretto di righe nella metrica dell'operazione numSourceRows.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 febbraio 2024
    • [SPARK-46861] Evita lo stallo in DAGScheduler.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 dicembre 2023
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46058] Aggiungi flag separato per privateKeyPassword.
    • [SPARK-39440] Aggiungi una configurazione per disabilitare la timeline degli eventi.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per RPC SSL.
  • 14 dicembre 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • [SPARK-45859] Hanno reso lazy gli oggetti UDF in ml.functions.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45730] Vincoli di tempo migliorati per ReloadingX509TrustManagerSuite.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • [SPARK-45545]SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45429] Classi helper aggiunte per la comunicazione SSL RPC.
    • [SPARK-45427] Aggiunte impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45584] Corretto errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45541] Aggiunto SSLFactory.
    • [SPARK-42205] Rimossi gli accumulabili di logging negli eventi di inizio di Stage e Task.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Supporto aggiunto per ReloadingX509TrustManager.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 ottobre 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 settembre 2023
    • Correzioni varie.
  • 30 agosto 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • [SPARK-43098] Correggi il bug di correttezza COUNT quando la sottoquery scalare ha una clausola group by.
    • [SPARK-43156][SPARK-43098] Estende il test scalare del conteggio delle sottoquery con decorrelateInnerQuery disattivato.
    • [SPARK-40862] Supporto per sottoquery non aggregate in RewriteCorrelatedScalarSubquery.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e fallisce immediatamente in modalità FAILFAST.
    • È stato risolto un problema nell'analisi dei dati recuperati in JSON per prevenire UnknownFieldException.
    • È stato risolto un problema nel caricatore automatico in cui i diversi formati di file di origine erano incoerenti quando lo schema specificato non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-37520] Aggiungi le funzioni stringa startswith() e endswith()
    • [SPARK-43413] Corretto IN la nullabilità delle sottoquery ListQuery.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 maggio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2023
    • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42967] Corregge SparkListenerTaskStart.stageAttemptId quando un compito viene avviato dopo che lo stage è stato annullato.
  • 29 marzo 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2023
    • [SPARK-42484] Messaggio di errore migliorato per UnsafeRowUtils.
    • Correzioni varie.
  • 28 febbraio 2023
    • Gli utenti possono ora leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Aggiornamenti della sicurezza del sistema operativo
  • 16 febbraio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2023
    • Per impostazione predefinita, le tabelle JDBC sono di tipo EXTERNAL.
  • 18 gennaio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2022
    • È stato risolto un problema relativo al parsing JSON nel caricatore automatico quando tutte le colonne venivano mantenute come stringhe (cloudFiles.inferColumnTypes non era impostato o era impostato su false) e il JSON conteneva oggetti annidati.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 novembre 2022
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 1 novembre 2022
    • È stato risolto un problema per cui, se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di modifica dati era disattivato su tale tabella, i dati in quella colonna si riempivano erroneamente con valori NULL durante l'esecuzione di .
    • È stato risolto un problema con il caricatore automatico in cui un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40596] Popola ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 ottobre 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • Correzioni varie.
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco predefinito per il caricatore automatico in ADLS. L'elenco incorporato è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti.
    • [SPARK-40315] Aggiungi hashCode() per Literal di ArrayBasedMapData
    • [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887] RemoveRedundantAliases dovrebbe mantenere gli alias che rendono unico l'output dei nodi di proiezione
  • 6 settembre 2022
    • [SPARK-40235] Usa il blocco interruptibile invece di synchronized in Executor.updateDependencies()
    • [SPARK-35542] Correzione: Bucketizer creato per più colonne con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il salvataggio.
    • [SPARK-40079] Aggiungi la convalida di inputCols di Imputer per il caso di input vuoto
  • 24 agosto 2022
    • [SPARK-39666] Usa UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode in ExpressionEncoder
    • [SPARK-39962] Applica la proiezione quando gli attributi del gruppo sono vuoti
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 agosto 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • [SPARK-39689] Supporto per i 2-caratteri lineSep nella sorgente dati CSV
    • [SPARK-39575] Aggiunto ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer.
    • [SPARK-37392] Corretto l'errore di prestazioni per l'ottimizzatore Catalyst.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 luglio 2022
    • [SPARK-39419]ArraySort genera un'eccezione quando il comparatore restituisce null.
    • Disattivato l'uso delle API cloud integrate di Auto Loader per l'elencazione delle directory su Azure.
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 15 giugno 2022
    • [SPARK-39283] Risolvi lo stallo tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
  • 2 giugno 2022
    • [SPARK-34554] Implementare il copy() metodo in ColumnarMap.
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Risolto un potenziale problema di perdita di memoria incorporata in Auto Loader.
    • Aggiornamento di AWS SDK dalla versione 1.11.655 alla 1.11.678.
    • [SPARK-38918] La potatura delle colonne nidificate dovrebbe escludere gli attributi che non appartengono alla relazione corrente
    • [SPARK-39084] Correggi df.rdd.isEmpty() usando TaskContext per fermare l'iteratore al completamento del compito
    • Aggiornamenti della sicurezza del sistema operativo
  • 19 aprile 2022
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 6 aprile 2022
    • [SPARK-38631] Utilizza implementazioni basate su Java per l'estrazione di archivi tar su Utils.unpack.
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 marzo 2022
    • È stata modificata la directory di lavoro attuale dei notebook nei cluster a concorrenza elevata con controllo dell'accesso alle tabelle o inoltro delle credenziali abilitati alla directory home dell'utente. In precedenza, active directory era /databricks/driver.
    • [SPARK-38437] Serializzazione permissiva della data-ora dall'origine dati
    • [SPARK-38180] Consentire l'uso di espressioni di up-cast sicure in predicati di uguaglianza correlati
    • [SPARK-38155] Impedire l'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • [SPARK-27442] Rimosso un campo di controllo quando si leggono o scrivono dati in Parquet.
  • 14 marzo 2022
    • [SPARK-38236] I percorsi dei file assoluti specificati nella tabella create/alter sono trattati come relativi
    • [SPARK-34069] Interrompi il thread del task se la proprietà SPARK_JOB_INTERRUPT_ON_CANCEL locale è impostata su true.
  • 23 febbraio 2022
    • [SPARK-37859] Le tabelle SQL create tramite JDBC con Spark 3.1 non sono leggibili con Spark 3.2.
  • 8 febbraio 2022
    • [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un file Parquet.
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 gennaio 2022
    • È stato risolto un problema per cui le transazioni simultanee nelle tabelle Delta potevano eseguire il commit in un ordine non serializzabile in determinate condizioni rare.
    • È stato risolto un problema per cui il comando OPTIMIZE poteva non riuscire quando il dialetto SQL ANSI era abilitato.
  • 19 gennaio 2022
    • Correzioni secondarie e miglioramenti per la sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2021
    • Corretto un problema che poteva causare il fallimento dei flussi di Streaming strutturato a causa di un errore ArrayIndexOutOfBoundsException.
    • Corretto una race condition che potrebbe causare un errore di query con un'eccezione IOException simile a java.io.IOException: No FileSystem for scheme o che potrebbe far sì che le modifiche a sparkContext.hadoopConfiguration non abbiano effetto nelle query.
    • Il connettore Apache Spark per la condivisione delta è stato aggiornato alla versione 0.2.0.
  • 20 ottobre 2021
    • Aggiornamento del connettore BigQuery da 0.18.1 a 0.22.2. In questo modo viene aggiunto il supporto per il tipo BigNumeric.
  • Ultimo aggiornamento: