Notes de publication des pipelines déclaratifs Spark Lakeflow 2026

Les fonctionnalités, améliorations et correctifs de bogues des pipelines déclaratifs Lakeflow Spark suivants ont été publiés en 2026.

Note

Étant donné que les mises à jour des pipelines déclaratifs de canal Spark Lakeflow suivent un processus de mise à niveau en continu, les mises à niveau des canaux sont déployées dans différentes régions à différents moments. Votre version, y compris les versions de Databricks Runtime, peut ne pas être mise à jour jusqu’à une semaine ou plus après la date de publication initiale. Pour rechercher la version de Databricks Runtime pour un pipeline, consultez informations de Runtime.

Janvier 2026

Ces fonctionnalités et améliorations apportées aux pipelines déclaratifs Spark Lakeflow ont été publiées entre le 14 novembre 2025 et le 13 janvier 2026.

Versions de Databricks Runtime utilisées par cette version

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 16.4
• APERÇU : Databricks Runtime 17.3

Nouvelles fonctionnalités et améliorations

• Vous pouvez désormais stocker et gérer les attentes de qualité des données directement dans les tables du catalogue Unity, centralisant les règles de qualité des données avec votre framework de gouvernance des données. Cela permet la gestion de versions et l'audit des règles de qualité, lesquelles peuvent être partagées sur plusieurs pipelines.

• Les pipelines continus qui s'exécutent plus de 7 jours redémarrent en douceur avec un temps d'arrêt minimal et une cause de mise à jour explicite (INFRASTRUCTURE_MAINTENANCE), au lieu de redémarrer brusquement lorsque les ressources de calcul sous-jacentes doivent être actualisées.

• Les pipelines prennent désormais en charge le mode d'exécution en file d'attente, permettant à plusieurs demandes de mise à jour d'être automatiquement mises en attente et exécutées séquentiellement, évitant ainsi les échecs dus aux conflits. Cela simplifie les opérations pour les pipelines avec des déclencheurs de mise à jour fréquents et élimine la nécessité d’une coordination manuelle des nouvelles tentatives.

• Vous pouvez maintenant matérialiser plusieurs vues SCD Type 2 à partir d’une seule source de données modifiées, ce qui améliore l’efficacité lors de la création de plusieurs vues historiques des mêmes données. Cela élimine la nécessité de retraiter les données sources pour chaque sortie SCD Type 2.

• Les planifications et la configuration du pipeline peuvent désormais être stockées et lues à partir des propriétés de la table catalogue Unity, ce qui permet la gestion des paramètres centralisés par le biais de la gouvernance des données. Cela vous permet de gérer le comportement du pipeline en même temps que vos définitions de données.

• MANAGE les autorisations sont désormais propagées automatiquement aux vues matérialisées et aux tables de streaming dans le catalogue Unity, ce qui simplifie la gestion des autorisations pour les sorties de pipeline. Cela garantit un contrôle d’accès cohérent sans octroi d’autorisations manuelles.

• Les opérations SCD Type 2 fusionnent désormais automatiquement les enregistrements en double avec la même clé naturelle, garantissant ainsi la cohérence des données et empêchant les enregistrements historiques en double dans vos tables de dimension à variation lente.

• Les pipelines ont désormais la possibilité de supprimer automatiquement les tables inactives qui ne font plus partie de la définition du pipeline. Cela permet de conserver des entrepôts de données propres et de réduire les coûts de stockage des tables obsolètes. Consultez Utiliser le catalogue Unity avec des pipelines.

• La définition du pipeline, les opérations de correction et les modifications de l'identité d'exécution sont désormais consignées dans le journal d’audit, offrant un suivi exhaustif des modifications de configuration pour la conformité et la surveillance de la sécurité. Consultez le journal des événements pipeline.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.