Notes de publication des pipelines déclaratifs Spark Lakeflow 2026

Les fonctionnalités, améliorations et correctifs de bogues des pipelines déclaratifs Lakeflow Spark suivants ont été publiés en 2026.

Note

Étant donné que les mises à jour des pipelines déclaratifs de canal Spark Lakeflow suivent un processus de mise à niveau en continu, les mises à niveau des canaux sont déployées dans différentes régions à différents moments. Votre version, y compris les versions de Databricks Runtime, peut ne pas être mise à jour jusqu’à une semaine ou plus après la date de publication initiale. Pour rechercher la version de Databricks Runtime pour un pipeline, consultez informations de Runtime.

Février 2026

Ces fonctionnalités et améliorations apportées aux pipelines déclaratifs Spark Lakeflow ont été publiées entre le 14 janvier 2026 et le 25 février 2026.

Versions de Databricks Runtime utilisées par cette version

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 16.4
• APERÇU : Databricks Runtime 17.3

Nouvelles fonctionnalités et améliorations

• Les pipelines prennent désormais en charge l’élargissement des types pour les tables Delta, ce qui permet d'élargir en toute sécurité les types de données des colonnes (par exemple, de INT à LONG, de FLOAT à DOUBLE) sans nécessiter une réinitialisation complète du pipeline. Cela permet des flux de travail d’évolution de schéma qui nécessitaient auparavant une intervention manuelle.
• Vous pouvez maintenant utiliser la matérialisation SCD Type 1 avec AUTO CDC, fournissant un modèle CDC plus simple qui insère ou met à jour la dernière valeur sans conserver l’historique complet des modifications. Cela réduit la surcharge de stockage pour les cas d’usage qui ne nécessitent pas d’historique complet.
• Les pipelines réutilisent désormais les clusters existants lors de la nouvelle tentative de mises à jour ayant échoué, ce qui réduit la latence des nouvelles tentatives et réduit les coûts de calcul en éliminant le temps de démarrage du cluster redondant.
• L’activation de l’optimisation prédictive s’affiche désormais correctement sur les vues matérialisées et les tables de diffusion en continu, si elles ont été actualisées au cours du mois dernier.
• Les pipelines valident désormais plusieurs flux ensemble, interceptant les conflits de configuration et les problèmes de dépendance entre les flux pendant la phase d’exécution sèche avant le début de l’exécution.
• Les métadonnées modifiables sont désormais conservées pendant les mises à jour du pipeline d’ingestion, ce qui permet une prise en charge complète des commandes « ALTER » sur les tables de streaming d’ingestion.
• Les erreurs Python dans les pipelines comportent désormais des codes d’état SQL, améliorant les diagnostics d’erreurs et permettant une meilleure gestion des erreurs par programmation dans les outils en aval.
• Les pipelines prennent désormais en charge les instances ARM pour le calcul classique.

Corrections de bugs

• Les valeurs des colonnes d’identité dans les tables de streaming en append-only sont désormais correctement générées dès la première mise à jour.

Janvier 2026

Ces fonctionnalités et améliorations apportées aux pipelines déclaratifs Spark Lakeflow ont été publiées entre le 14 novembre 2025 et le 13 janvier 2026.

Versions de Databricks Runtime utilisées par cette version

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 16.4
• APERÇU : Databricks Runtime 17.3

Nouvelles fonctionnalités et améliorations

• Vous pouvez désormais stocker et gérer les attentes de qualité des données directement dans les tables du catalogue Unity, centralisant les règles de qualité des données avec votre framework de gouvernance des données. Cela permet la gestion de versions et l'audit des règles de qualité, lesquelles peuvent être partagées sur plusieurs pipelines.

• Les pipelines continus qui s'exécutent plus de 7 jours redémarrent en douceur avec un temps d'arrêt minimal et une cause de mise à jour explicite (INFRASTRUCTURE_MAINTENANCE), au lieu de redémarrer brusquement lorsque les ressources de calcul sous-jacentes doivent être actualisées.

• Les pipelines prennent désormais en charge le mode d'exécution en file d'attente, permettant à plusieurs demandes de mise à jour d'être automatiquement mises en attente et exécutées séquentiellement, évitant ainsi les échecs dus aux conflits. Cela simplifie les opérations pour les pipelines avec des déclencheurs de mise à jour fréquents et élimine la nécessité d’une coordination manuelle des nouvelles tentatives.

• Vous pouvez maintenant matérialiser plusieurs vues SCD Type 2 à partir d’une seule source de données modifiées, ce qui améliore l’efficacité lors de la création de plusieurs vues historiques des mêmes données. Cela élimine la nécessité de retraiter les données sources pour chaque sortie SCD Type 2.

• Les planifications et la configuration du pipeline peuvent désormais être stockées et lues à partir des propriétés de la table catalogue Unity, ce qui permet la gestion des paramètres centralisés par le biais de la gouvernance des données. Cela vous permet de gérer le comportement du pipeline en même temps que vos définitions de données.

• MANAGE les autorisations sont désormais propagées automatiquement aux vues matérialisées et aux tables de streaming dans le catalogue Unity, ce qui simplifie la gestion des autorisations pour les sorties de pipeline. Cela garantit un contrôle d’accès cohérent sans octroi d’autorisations manuelles.

• Les opérations SCD Type 2 fusionnent désormais automatiquement les enregistrements en double avec la même clé naturelle, garantissant ainsi la cohérence des données et empêchant les enregistrements historiques en double dans vos tables de dimension à variation lente.

• Les pipelines ont désormais la possibilité de supprimer automatiquement les tables inactives qui ne font plus partie de la définition du pipeline. Cela permet de conserver des entrepôts de données propres et de réduire les coûts de stockage des tables obsolètes. Consultez Utiliser le catalogue Unity avec des pipelines.

• La définition du pipeline, les opérations de correction et les modifications de l'identité d'exécution sont désormais consignées dans le journal d’audit, offrant un suivi exhaustif des modifications de configuration pour la conformité et la surveillance de la sécurité. Consultez le journal des événements pipeline.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.