Partager via

Utiliser des ALTER instructions avec des jeux de données de pipeline

Important

Cette fonctionnalité est disponible en préversion publique.

Lakeflow Spark Declarative Pipelines (SDP) définit des pipelines dans le code source spécifique à SDP. Vous pouvez modifier la source de pipeline dans SQL ou Python, par exemple dans l’éditeur de pipelines Lakeflow.

Azure Databricks fournit également un environnement SQL appelé Databricks SQL. Vous pouvez créer des vues matérialisées et des tables de diffusion en continu avec Databricks SQL à l’aide de fonctionnalités de pipeline en dehors de SDP (voir Utiliser des pipelines dans Databricks SQL). En règle générale, Databricks SQL n’est pas utilisé avec les pipelines déclaratifs Spark Lakeflow.

Toutefois, vous pouvez utiliser ALTER des instructions SQL dans Databricks SQL pour modifier les propriétés d’un jeu de données créé avec SDP ou Databricks SQL. Utilisez ces instructions SQL à partir d’un environnement Databricks SQL, que vous modifiiez des jeux de données SDP ou des jeux de données de pipeline Databricks SQL.

Note

Vous ne pouvez pas modifier la planification ou le déclencheur d’un jeu de données défini dans SDP avec une ALTER instruction.

Limitation : mises à jour du pipeline et modifications apportées avec ALTER

Il existe des cas où ALTER les déclarations sont en conflit avec la définition des jeux de données créés par le pipeline. Le SQL qui définit une table ou une vue dans un pipeline est réexécuté à chaque mise à jour. Cela peut annuler les modifications que vous apportez avec une ALTER instruction.

Par exemple, si vous avez une instruction SQL qui définit une vue matérialisée, comme suit :

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Ensuite, vous essayez de supprimer le masque de la colonne ssn à l’aide de l’instruction ALTER, comme ceci :

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

Le masque est supprimé, mais la prochaine fois que la vue matérialisée est mise à jour, la définition SQL l’ajoute.

Pour supprimer le masque en toute sécurité, vous devez modifier la définition SQL pour supprimer le masque, puis exécuter la ALTER commande sur DROP le masque.

Note

Pour modifier la définition d’un pipeline défini dans SDP, modifiez votre source de pipeline à l’aide de l’éditeur de pipeline. Pour modifier la définition d’un pipeline défini dans Databricks SQL, exécutez l’instruction SQL modifiée dans n’importe quel environnement Databricks SQL.

Ressources supplémentaires

  • Last updated on