Wybieranie między programem SQL i Python

Potoki Lakeflow obsługują zarówno interfejs SQL, jak i język Python do definiowania potoków wsadowych i strumieniowych. Oba interfejsy tworzą ten sam podstawowy graf przepływu danych, dzięki czemu zapewniają równoważne funkcje dla większości przetwarzania danych. Różnią się one elastycznością, ułatwieniami dostępu i pokryciem funkcji.

Skorzystaj z tych wskazówek, aby zdecydować, który interfejs ma być używany:

  • Jeśli możesz wyrazić logikę w języku SQL, użyj języka SQL.
  • Jeśli potrzebujesz kontroli programowej lub funkcji tylko Python, użyj Python.
  • Jeśli lepiej czujesz się w Pythonie, użyj Pythona. Obejmuje niemal wszystkie funkcje potoków (materializowane widoki zgodne z Icebergiem są dostępne tylko w SQL), więc sama znajomość jest wystarczającym powodem. W drugą stronę już tak nie jest: SQL nie obsługuje wszystkich funkcji, więc nie wybieraj go wyłącznie dlatego, że jest Ci znany.

Oba interfejsy można również połączyć w tym samym potoku. Zobacz Łączenie SQL i Pythona.

Kiedy należy używać bazy danych SQL

Język SQL jest dobrym rozwiązaniem, jeśli chcesz:

  • Czytelne, deklaratywne definicje: jasna logika, którą inżynierowie danych i analitycy mogą utrzymywać.
  • Standardowe typy tabel: Potoki zbudowane głównie z tabel strumieniowych i widoków materializowanych.
  • Łańcuchy liniowych transformacji: Proste pozyskiwanie danych i ich transformacja, takie jak przepływ od warstwy bronze przez silver do gold, bez logiki proceduralnej.
  • Samodzielne tabele: Samodzielne tabele strumieniowe lub widoki materializowane, które tworzysz w SQL.

Aby zapoznać się z omówieniem opracowywania potoków w języku SQL, zobacz Develop Lakeflow pipelines code with SQL (Opracowywanie kodu potoków usługi Lakeflow przy użyciu języka SQL).

Kiedy należy używać Python

Python jest dobrym rozwiązaniem w razie potrzeby:

  • Sterowanie za pomocą kodu: Pętle, instrukcje warunkowe i metaprogramowanie do dynamicznego generowania definicji potoków.
  • Biblioteki zewnętrzne: pakiety Python, takie jak faker lub boto3. Zobacz Zarządzanie zależnościami języka Python dla potoków.
  • Funkcje definiowane przez użytkownika (UDFs): Definiujesz funkcje UDFs w języku Python i możesz wywoływać je zarówno z plików źródłowych języka Python, jak i SQL. Zobacz skalarne funkcje języka Python zdefiniowane przez użytkownika (UDF).
  • Funkcje tylko w Pythonie:
    • create_sink(), foreach_batch_sink() oraz foreach_sink(), aby zapisywać do zewnętrznych systemów strumieniowania zdarzeń, Delta lub niestandardowych lokalizacji docelowych.

Aby zapoznać się z omówieniem opracowywania potoków w Python, zobacz Develop pipeline code with Python (Opracowywanie kodu potoku przy użyciu Python).

Łącz SQL i Pythona

Pojedynczy potok może łączyć definicje SQL i Pythona, ale każdy język musi znajdować się w osobnym pliku źródłowym. Na przykład możesz zdefiniować tabele brązowe i srebrne w Pythonie, a tabele złote w SQL.

Dostępność funkcji

W poniższej tabeli porównano, jak każdy interfejs obsługuje typowe funkcje potoków:

Feature SQL Python
tabela strumieniowa CREATE STREAMING TABLE create_streaming_table(), table()
zmaterializowany widok CREATE MATERIALIZED VIEW materialized_view()
Widok zmaterializowany zgodny z Iceberg (publiczna wersja zapoznawcza) CREATE MATERIALIZED VIEW ... USING ICEBERG. Zobacz jak utworzyć widok zmaterializowany kompatybilny z zewnętrznymi czytnikami Iceberg. Niewspierane
Widok tymczasowy CREATE TEMPORARY VIEW temporary_view()
Tabela prywatna CREATE PRIVATE STREAMING TABLE, CREATE PRIVATE MATERIALIZED VIEW table(private=True)
Automatyczny CDC AUTO CDC ... INTO create_auto_cdc_flow()
Automatyczne CDC na podstawie migawki AUTO CDC ... FROM SNAPSHOT create_auto_cdc_from_snapshot_flow()
Flow CREATE FLOW append_flow()
Sink Niewspierane create_sink(), foreach_batch_sink(), foreach_sink()
Expectations CONSTRAINT ... EXPECT expect(), expect_or_drop(), expect_or_fail(), oraz warianty expect_all

Podsumowanie decyzji

Jeśli potrzebujesz...

Goal Zalecany interfejs
Prostota i czytelność SQL
Szybka konfiguracja deklaratywna SQL
Samodzielna tabela strumieniowa lub zmaterializowany widok SQL
Logika warunkowa lub pętli Python
Funkcje zdefiniowane przez użytkownika lub zewnętrzne biblioteki Python Python
Sinks Python
Pełna kontrola programowa i modułowość Python