Note di rilascio delle pipeline dichiarative di Lakeflow Spark 2026

Nel 2026 sono state rilasciate le seguenti funzionalità, miglioramenti e correzioni di bug per Lakeflow Spark.

Annotazioni

Poiché le versioni dei canali dichiarative di Lakeflow Spark seguono un processo di aggiornamento in sequenza, gli aggiornamenti del canale vengono distribuiti in aree diverse in momenti diversi. La tua versione, comprese le versioni di Databricks Runtime, potrebbe non essere aggiornata per una settimana o più dopo la data di rilascio iniziale. Per trovare la versione di Databricks Runtime per una pipeline, vedere Informazioni sul runtime.

Gennaio 2026

Queste funzionalità e miglioramenti alle pipeline dichiarative di Lakeflow Spark sono state rilasciate tra il 14 novembre 2025 e il 13 gennaio 2026.

Versioni di Databricks Runtime usate da questa versione

Canale:

• CURRENT (impostazione predefinita): Databricks Runtime 16.4
• ANTEPRIMA: Databricks Runtime 17.3

Nuove funzionalità e miglioramenti

• È ora possibile archiviare e gestire le aspettative sulla qualità dei dati direttamente nelle tabelle del catalogo Unity, centralizzando le regole di qualità dei dati con il framework di governance dei dati. Ciò consente di avere regole di qualità sottoposte a controllo di versione che possono essere condivise tra più pipeline.

• Le pipeline continue che eseguono più di 7 giorni ora vengono riavviate normalmente con tempi di inattività minimi e una causa esplicita di aggiornamento (INFRASTRUCTURE_MAINTENANCE), anziché riavviare bruscamente quando è necessario aggiornare il calcolo sottostante.

• I pipeline supportano ora la modalità di esecuzione in coda, in cui più richieste di aggiornamento vengono automaticamente accodate ed eseguite in sequenza evitando conflitti di errore. Ciò semplifica le operazioni per le pipeline con trigger di aggiornamento frequenti ed elimina la necessità di coordinamento manuale dei tentativi.

• È ora possibile materializzare più viste SCD Type 2 da un'unica origine dati delle modifiche, migliorando l'efficienza durante la creazione di più viste storiche degli stessi dati. In questo modo si elimina la necessità di rielaborare i dati di origine per ogni output scD Type 2.

• Le pianificazioni e la configurazione delle pipeline possono ora essere archiviate e lette dalle proprietà della tabella del catalogo Unity, consentendo la gestione centralizzata delle impostazioni tramite la governance dei dati. In questo modo è possibile gestire il comportamento della pipeline insieme alle definizioni dei dati.

• MANAGE Le autorizzazioni vengono ora propagate automaticamente alle viste materializzate e alle tabelle di streaming nel catalogo unity, semplificando la gestione delle autorizzazioni per gli output della pipeline. In questo modo si garantisce un controllo di accesso coerente senza concessioni di autorizzazioni manuali.

• Le operazioni SCD di tipo 2 ora uniscono automaticamente i record duplicati con la stessa chiave naturale, garantendo la coerenza dei dati e prevenendo i duplicati storici nelle tabelle delle dimensioni a cambiamento lento.

• Le pipeline hanno ora un'opzione per eliminare automaticamente le tabelle inattive che non fanno più parte della definizione della pipeline. In questo modo è possibile mantenere i data warehouse puliti e ridurre i costi di archiviazione dalle tabelle obsolete. Vedere Usare il catalogo Unity con le pipeline.

• La definizione della pipeline, le operazioni di patch e le modifiche di identità run-as sono ora incluse nel log di controllo, fornendo un rilevamento completo delle modifiche di configurazione per il monitoraggio della conformità e della sicurezza. Vedere Registro eventi della pipeline.

Correzioni di bug

In questo periodo di rilascio non sono state incluse correzioni significative di bug. Tutte le modifiche sono state nuove funzionalità e miglioramenti.