Choisir entre SQL et Python

Les pipelines Lakeflow prennent en charge les interfaces SQL et Python pour définir des pipelines de traitement par lots et de streaming. Les deux interfaces produisent le même graphe de flux de données sous-jacent, de sorte qu’elles fournissent des fonctionnalités équivalentes pour la plupart des traitements de données. Elles diffèrent en termes de flexibilité, d’accessibilité et de couverture des fonctionnalités.

Utilisez ces conseils pour déterminer l’interface à utiliser :

  • Si vous pouvez exprimer votre logique dans SQL, utilisez SQL.
  • Si vous avez besoin d’un contrôle programmatique ou d’une fonctionnalité Python uniquement, utilisez Python.
  • Si vous êtes plus à l'aise avec Python, utilisez Python. Il couvre presque toutes les fonctionnalités des pipelines (les vues matérialisées compatibles avec Iceberg sont uniquement disponibles en SQL), donc la familiarité est une raison suffisante. La même chose n’est pas vraie dans l’inverse : SQL ne couvre pas chaque fonctionnalité, donc ne le choisissez pas sur la familiarité seule.

Vous pouvez également combiner les deux interfaces dans le même pipeline. Consultez Mix SQL et Python.

Quand utiliser SQL

SQL convient bien lorsque vous souhaitez :

  • Définitions lisibles et déclaratives : logique claire que les ingénieurs et analystes des données peuvent maintenir.
  • Types de tables standard : pipelines construits principalement à partir de tables de flux et de vues matérialisées.
  • Chaînes de transformation linéaires : ingestion et transformation simples, comme un flux bronze-silver-gold, sans logique procédurale.
  • Tables autonomes : tables de streaming autonomes ou vues matérialisées, que vous rédigez en SQL.

Pour obtenir une vue d’ensemble du développement de pipelines dans SQL, consultez Développer du code de pipelines Lakeflow avec SQL.

Quand utiliser Python

Python est bien adapté quand vous avez besoin de :

  • Contrôle programmatique : Boucles, conditionnels et métaprogrammation pour générer dynamiquement des définitions de pipeline.
  • Bibliothèques externes : paquets Python tels que faker ou boto3. Consultez Gestion des dépendances Python pour les pipelines.
  • Fonctions définies par l’utilisateur (UDF) : Vous définissez des UDF en Python et vous pouvez les appeler depuis des fichiers source Python et SQL. Consultez Python fonctions scalaires définies par l’utilisateur (UDF).
  • Fonctionnalités Python uniquement :
    • create_sink(), foreach_batch_sink(), et foreach_sink() pour écrire vers des destinations externes de streaming d’événements, Delta ou personnalisées.

Pour obtenir une vue d’ensemble du développement de pipelines dans Python, consultez Développer du code de pipeline avec Python.

Mélanger SQL et Python

Un pipeline unique peut combiner des définitions SQL et Python, mais chaque langage doit se trouver dans un fichier source distinct. Par exemple, vous pouvez définir vos tables bronze et argent dans Python et vos tables d’or dans SQL.

Disponibilité des fonctionnalités

Le tableau suivant compare la façon dont chaque interface prend en charge les fonctionnalités courantes du pipeline :

Feature SQL Python
table de streaming CREATE STREAMING TABLE create_streaming_table(), table()
vue matérialisée CREATE MATERIALIZED VIEW materialized_view()
Vue matérialisée compatible Iceberg (version préliminaire publique) CREATE MATERIALIZED VIEW ... USING ICEBERG. Consultez Créer une vue matérialisée compatible avec les lecteurs Iceberg externes. Non pris en charge
Vue temporaire CREATE TEMPORARY VIEW temporary_view()
Table privée CREATE PRIVATE STREAMING TABLE, CREATE PRIVATE MATERIALIZED VIEW table(private=True)
CDC automatique AUTO CDC ... INTO create_auto_cdc_flow()
CDC automatique à partir d’un instantané AUTO CDC ... FROM SNAPSHOT create_auto_cdc_from_snapshot_flow()
Flow CREATE FLOW append_flow()
Récepteur Non pris en charge create_sink(), foreach_batch_sink(), foreach_sink()
Expectations CONSTRAINT ... EXPECT expect(), expect_or_drop(), expect_or_fail() et les variantes expect_all

Résumé de la décision

Si vous en avez besoin...

Objectif Interface recommandée
Simplicité et lisibilité SQL
Configuration déclarative rapide SQL
Table de diffusion en continu autonome ou vue matérialisée SQL
Logique conditionnelle ou de boucle Python
Fonctions définies par l’utilisateur ou bibliothèques Python externes Python
Sinks Python
Contrôle et modularité de programmation complets Python