Wählen Sie zwischen SQL und Python

Lakeflow-Pipelines unterstützen sowohl SQL- als auch Python-Schnittstellen zum Definieren von Batch- und Streamingpipelines. Beide Schnittstellen erzeugen dasselbe zugrunde liegende Dataflowdiagramm, sodass sie für die meisten Datenverarbeitungen gleichwertige Funktionen bereitstellen. Sie unterscheiden sich hinsichtlich Flexibilität, Barrierefreiheit und Featureabdeckung.

Verwenden Sie diese Anleitung, um zu entscheiden, welche Schnittstelle verwendet werden soll:

  • Wenn Sie Ihre Logik in SQL ausdrücken können, verwenden Sie SQL.
  • Wenn Sie eine programmgesteuerte Steuerung oder ein nur Python-Feature benötigen, verwenden Sie Python.
  • Wenn Sie mit Python vertraut sind, verwenden Sie Python. Es deckt fast alle Pipeline-Funktionen ab (Iceberg-kompatible materialisierte Ansichten sind nur SQL-verfügbar), daher ist Vertrautheit Grund genug. Das Gleiche gilt umgekehrt nicht: SQL deckt nicht alle Funktionen ab, also entscheiden Sie sich nicht allein deshalb dafür, weil es Ihnen vertraut ist.

Sie können auch beide Schnittstellen in derselben Pipeline kombinieren. Siehe Mix SQL und Python.

Wann SQL verwendet werden sollte

SQL eignet sich gut, wenn Sie möchten:

  • Lesbare, deklarative Definitionen: Klare Logik, die Dateningenieure und Analysten pflegen können.
  • Standard-Tabellentypen: Pipelines, die größtenteils aus Streaming-Tabellen und materialisierten Ansichten bestehen.
  • Lineare Transformationsketten: Einfache Aufnahme und Transformation, wie ein Fluss von Bronze zu Silber zu Gold, ohne prozedurale Logik.
  • Eigenständige Tabellen: Eigenständige Streaming-Tabellen oder materialisierte Ansichten, die Sie in SQL erstellen.

Eine Übersicht über die Entwicklung von Pipelines in SQL finden Sie unter Developing Lakeflow pipelines code with SQL.

Wann Python verwendet werden soll

Python ist bei Bedarf gut geeignet:

  • Programmatische Steuerung: Schleifen, Konditionalen und Metaprogrammierung, um dynamisch Pipeline-Definitionen zu generieren.
  • Externe Bibliotheken: Python-Pakete wie faker oder boto3. Siehe Verwalten von Abhängigkeiten für Python-Pipelines.
  • Benutzerdefinierte Funktionen (UDFs): Man definiert UDFs in Python und kann sie sowohl aus Python- als auch aus SQL-Quelldateien aufrufen. Siehe Skalare benutzerdefinierte Python-Funktionen (UDFs).
  • Funktionen, die nur in Python verfügbar sind:
    • create_sink(), foreach_batch_sink() und foreach_sink() verwenden, um in externe Event-Streaming-, Delta- oder benutzerdefinierte Ziele zu schreiben.

Eine Übersicht über die Entwicklung von Pipelines in Python finden Sie unter Entwickeln von Pipelinecode mit Python.

Kombinieren von SQL und Python

Eine einzelne Pipeline kann SQL- und Python Definitionen kombinieren, jede Sprache muss sich jedoch in einer separaten Quelldatei befinden. Beispielsweise können Sie Ihre Bronze- und Silbertabellen in Python und Ihren Goldtabellen in SQL definieren.

Verfügbarkeit von Funktionen

In der folgenden Tabelle wird verglichen, wie jede Schnittstelle allgemeine Pipelinefeatures unterstützt:

Feature SQL Python
Streaming-Tabelle CREATE STREAMING TABLE create_streaming_table(), table()
materialisierte Ansicht CREATE MATERIALIZED VIEW materialized_view()
Iceberg-kompatible materialisierte Ansicht (Öffentliche Vorschau) CREATE MATERIALIZED VIEW ... USING ICEBERG. Siehe Erstellen einer materialisierten Ansicht, die mit externen Iceberg-Lesern kompatibel ist. Nicht unterstützt
Temporäre Ansicht CREATE TEMPORARY VIEW temporary_view()
Private Tabelle CREATE PRIVATE STREAMING TABLE, CREATE PRIVATE MATERIALIZED VIEW table(private=True)
Automatisches CDC AUTO CDC ... INTO create_auto_cdc_flow()
Automatisches CDC aus Snapshot AUTO CDC ... FROM SNAPSHOT create_auto_cdc_from_snapshot_flow()
Durchfluss CREATE FLOW append_flow()
Senke Nicht unterstützt create_sink(), foreach_batch_sink()foreach_sink()
Erwartungshaltung CONSTRAINT ... EXPECT expect(), expect_or_drop(), expect_or_fail() und die expect_all-Varianten

Entscheidungszusammenfassung

Wenn Sie etwas benötigen...

Ziel Empfohlene Schnittstelle
Einfachheit und Lesbarkeit SQL
Schnelle deklarative Konfiguration SQL
Eigenständige Streamingtabelle oder materialisierte Ansicht SQL
Bedingungs- oder Schleifenlogik Python
UDFs oder externe Python-Bibliotheken Python
Waschbecken Python
Volle programmgesteuerte Steuerung und Modularität Python