DLT édition 2022.40

28 septembre - 5 octobre 2022

Ces fonctionnalités et améliorations ont été publiées avec la version 2022.40 de DLT.

Versions de Databricks Runtime utilisées par cette version

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 11.0.7
• APERÇU : Databricks Runtime 11.0.7

Nouvelles fonctionnalités et améliorations de cette version

• L’utilisation d’une étiquette de cluster autre que default ou maintenance dans vos paramètres de pipeline provoque des échecs lors de la création ou de la modification du pipeline. Pour plus d’informations sur la configuration du cluster pour les pipelines déclaratifs Spark Lakeflow, consultez Configurer le calcul classique pour les pipelines.

• Vous pouvez maintenant ouvrir ou exécuter des pipelines directement à partir de vos notebooks Lakeflow Spark Declarative Pipelines. Voir Développer et déboguer des pipelines avec un notebook (hérité).

• Cette version inclut un changement cassant de la structure de données des paramètres de pipeline retournée par les demandes de l’API DLT. Ce changement retourne le champ edition sous la forme d’une valeur en majuscules. Auparavant, cette valeur a été retournée en tant que cas mixte. Vous devez mettre à jour vos clients qui lisent la valeur edition dans les réponses d’API pour garantir le traitement correct de la valeur de retour. Toutefois, la valeur edition dans les requêtes d’API ne respecte pas la casse. Ainsi, vos clients qui soumettent des demandes incluant ce champ ne nécessitent pas de mise à jour.

Correctifs de bogues dans cette version

• Cette version corrige un bogue qui provoque l'affichage par l'interface utilisateur DLT d’un pipeline dans un RUNNING état, même après l’échec de la mise à jour.

• Cette mise à jour corrige un bogue dans l’interface APPLY_CHANGES lors du nouveau traitement des données d’entrée où les données contiennent des opérations en double DELETE avec la même valeur dans la SEQUENCE colonne. Ce scénario génère des NULL valeurs dans la table cible et la suppression de la DeleteVersion valeur. Cela équivaut à marquer l’enregistrement comme NOT-DELETED. Avec cette modification, les opérations DELETE en double sont gérées indépendamment et marquent toujours l’enregistrement comme DELETED.

• Cette version corrige un bogue qui provoque la masquée des lignes pendant le traitement du type SCD 2 lorsqu’un enregistrement historique précédent est supprimé contenant les mêmes colonnes que l’enregistrement historique suivant.

• Cette mise à jour corrige un bogue qui entraîne une vue avec une attente expect_or_fail à rester dans l’état RUNNING même si l’attente échoue. Avec ce correctif, le pipeline échoue et passe à l’état FAILED .