Notes de publication de Delta Live Tables et processus de mise à niveau des versions

Article
04/11/2024

Cet article explique le processus de mise en production de Delta Live Tables et la façon dont le runtime Delta Live Tables est géré. Il fournit également des liens vers les notes de publication pour chaque version de Delta Live Tables.

Canaux du runtime Delta Live Tables

Les clusters Delta Live Tables utilisent des runtimes basés sur les Notes de publication sur les versions et la compatibilité de Databricks Runtime. Databricks met automatiquement à niveau les runtimes Delta Live Tables pour prendre en charge les améliorations et les mises à niveau sur la plateforme. Vous pouvez utiliser le champ channel dans les paramètres du pipeline Delta Live Tables pour contrôler la version du runtime Delta Live Tables qui exécute votre pipeline. Les valeurs prises en charge sont les suivantes :

current pour utiliser la version actuelle du runtime.
preview pour tester votre pipeline avec les modifications à venir de la version du runtime.

Par défaut, vos pipelines s’exécutent à l’aide de la version current du runtime. Databricks recommande d’utiliser le runtime current pour les charges de travail de production. Pour savoir comment utiliser le paramètre preview pour tester vos pipelines avec la prochaine version du runtime, consultez Automatiser le test de vos pipelines avec la prochaine version du runtime.

Pour savoir quelles versions de Databricks Runtime sont utilisées avec une version de Delta Live Tables, consultez les notes de publication correspondantes.

Pour plus d’informations sur les canaux Delta Live Tables, consultez le champ channel dans les paramètres du pipeline Delta Live Tables.

Pour comprendre comment Delta Live Tables gère le processus de mise à niveau pour chaque version, consultez la section Comment fonctionnent les mises à niveau de Delta Live Tables ?.

Comment trouver la version de Databricks Runtime pour une mise à jour de pipeline ?

Vous pouvez interroger le journal des événements Delta Live Tables pour trouver la version de Databricks Runtime pour une mise à jour de pipeline. Consultez Informations de runtime.

Notes de publication de Delta Lives Tables

Les notes de publication de Delta Live Tables sont organisées par année et par semaine de l’année. Étant donné que Delta Live Tables est sans version, les modifications de l’espace de travail et du runtime surviennent automatiquement. Les notes de publication suivantes fournissent une vue d’ensemble des modifications et des correctifs de bogues dans chaque version :

Comment fonctionnent les mises à niveau de Delta Live Tables ?

Delta Live Tables est considéré comme un produit sans version, ce qui signifie que Databricks met automatiquement à niveau le runtime de Delta Live Tables pour prendre en charge les améliorations et les mises à niveau de la plateforme. Databricks recommande de limiter les dépendances externes pour les pipelines Delta Live Tables.

Databricks fonctionne de manière proactive pour empêcher les mises à niveau automatiques d’introduire des erreurs ou des problèmes dans les pipelines Delta Live Tables de production. Consultez la section Processus de mise à niveau de Delta Live Tables.

En particulier pour les utilisateurs qui déploient des pipelines Delta Live Tables avec des dépendances externes, Databricks recommande de tester de manière proactive les pipelines avec des canaux preview. Consultez la section Automatiser le test de vos pipelines avec la prochaine version du runtime.

Processus de mise à niveau de Delta Live Tables

Databricks gère le runtime Databricks utilisé par les ressources de calcul Delta Live Tables. Delta Live Tables met automatiquement à niveau le runtime dans vos espaces de travail Azure Databricks et supervise l’intégrité de vos pipelines après la mise à niveau.

Si Delta Live Tables détecte qu’un pipeline ne peut pas démarrer en raison d’une mise à niveau, la version de runtime du pipeline rétablit la version précédente stable connue, et les étapes suivantes sont déclenchées automatiquement :

Le runtime Delta Live Tables du pipeline est épinglé à la version connue précédente.
L’interface utilisateur Delta Live Tables affiche un visuel indiquant que le pipeline est épinglé à une version précédente en raison d’un échec de mise à niveau.
Le support Databricks est averti du problème.
- Si le problème est lié à une régression dans le runtime, Databricks le résout.
- Si le problème est dû à une bibliothèque ou un package personnalisé utilisé par le pipeline, Databricks vous contacte pour résoudre le problème.
Une fois le problème résolu, Databricks relance la mise à niveau.

Important

Delta Live Tables rétablit uniquement les pipelines s’exécutant en mode production et avec le canal défini sur current.

Automatiser le test de vos pipelines avec la prochaine version du runtime

Pour vérifier que les modifications apportées à la prochaine version du runtime Delta Live Tables n’ont pas d’impact sur vos pipelines, utilisez la caractéristique des canaux Delta Live Tables :

Créez un pipeline de préproduction et définissez le canal sur preview.
Dans l’interface utilisateur Delta Live Tables, créez une planification pour exécuter le pipeline chaque semaine et activez les alertes pour recevoir une notification par e-mail pour les échecs du pipeline. Databricks recommande de planifier des séries de tests hebdomadaires des pipelines, en particulier si vous utilisez des dépendances de pipeline personnalisées.
Si vous recevez une notification d’échec et que vous ne parvenez pas à le résoudre, ouvrez un ticket de support avec Databricks.

Dépendances de pipeline

Delta Live Tables prend en charge les dépendances externes dans vos pipelines. Par exemple, vous pouvez installer n’importe quel package Python à l’aide de la commande %pip install. Delta Live Tables prend également en charge l’utilisation de scripts d’initialisation globaux et étendus au cluster. Toutefois, ces dépendances externes, en particulier les scripts d’initialisation, augmentent le risque de problèmes liés aux mises à niveau du runtime. Pour atténuer ces risques, réduisez l’utilisation de scripts d’initialisation dans vos pipelines. Si votre traitement nécessite des scripts d’initialisation, automatisez le test de votre pipeline pour détecter les problèmes au plus tôt. Consultez Automatiser les tests de vos pipelines avec la prochaine version du runtime. Si vous utilisez des scripts d’initialisation, Databricks recommande d’augmenter votre fréquence de test.