Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Potoki Lakeflow obsługują zarówno interfejs SQL, jak i język Python do definiowania potoków wsadowych i strumieniowych. Oba interfejsy tworzą ten sam podstawowy graf przepływu danych, dzięki czemu zapewniają równoważne funkcje dla większości przetwarzania danych. Różnią się one elastycznością, ułatwieniami dostępu i pokryciem funkcji.
Skorzystaj z tych wskazówek, aby zdecydować, który interfejs ma być używany:
- Jeśli możesz wyrazić logikę w języku SQL, użyj języka SQL.
- Jeśli potrzebujesz kontroli programowej lub funkcji tylko Python, użyj Python.
- Jeśli lepiej czujesz się w Pythonie, użyj Pythona. Obejmuje niemal wszystkie funkcje potoków (materializowane widoki zgodne z Icebergiem są dostępne tylko w SQL), więc sama znajomość jest wystarczającym powodem. W drugą stronę już tak nie jest: SQL nie obsługuje wszystkich funkcji, więc nie wybieraj go wyłącznie dlatego, że jest Ci znany.
Oba interfejsy można również połączyć w tym samym potoku. Zobacz Łączenie SQL i Pythona.
Kiedy należy używać bazy danych SQL
Język SQL jest dobrym rozwiązaniem, jeśli chcesz:
- Czytelne, deklaratywne definicje: jasna logika, którą inżynierowie danych i analitycy mogą utrzymywać.
- Standardowe typy tabel: Potoki zbudowane głównie z tabel strumieniowych i widoków materializowanych.
- Łańcuchy liniowych transformacji: Proste pozyskiwanie danych i ich transformacja, takie jak przepływ od warstwy bronze przez silver do gold, bez logiki proceduralnej.
- Samodzielne tabele: Samodzielne tabele strumieniowe lub widoki materializowane, które tworzysz w SQL.
Aby zapoznać się z omówieniem opracowywania potoków w języku SQL, zobacz Develop Lakeflow pipelines code with SQL (Opracowywanie kodu potoków usługi Lakeflow przy użyciu języka SQL).
Kiedy należy używać Python
Python jest dobrym rozwiązaniem w razie potrzeby:
- Sterowanie za pomocą kodu: Pętle, instrukcje warunkowe i metaprogramowanie do dynamicznego generowania definicji potoków.
-
Biblioteki zewnętrzne: pakiety Python, takie jak
fakerlubboto3. Zobacz Zarządzanie zależnościami języka Python dla potoków. - Funkcje definiowane przez użytkownika (UDFs): Definiujesz funkcje UDFs w języku Python i możesz wywoływać je zarówno z plików źródłowych języka Python, jak i SQL. Zobacz skalarne funkcje języka Python zdefiniowane przez użytkownika (UDF).
-
Funkcje tylko w Pythonie:
-
create_sink(),foreach_batch_sink()orazforeach_sink(), aby zapisywać do zewnętrznych systemów strumieniowania zdarzeń, Delta lub niestandardowych lokalizacji docelowych.
-
Aby zapoznać się z omówieniem opracowywania potoków w Python, zobacz Develop pipeline code with Python (Opracowywanie kodu potoku przy użyciu Python).
Łącz SQL i Pythona
Pojedynczy potok może łączyć definicje SQL i Pythona, ale każdy język musi znajdować się w osobnym pliku źródłowym. Na przykład możesz zdefiniować tabele brązowe i srebrne w Pythonie, a tabele złote w SQL.
Dostępność funkcji
W poniższej tabeli porównano, jak każdy interfejs obsługuje typowe funkcje potoków:
| Feature | SQL | Python |
|---|---|---|
| tabela strumieniowa | CREATE STREAMING TABLE |
create_streaming_table(), table() |
| zmaterializowany widok | CREATE MATERIALIZED VIEW |
materialized_view() |
| Widok zmaterializowany zgodny z Iceberg (publiczna wersja zapoznawcza) |
CREATE MATERIALIZED VIEW ... USING ICEBERG. Zobacz jak utworzyć widok zmaterializowany kompatybilny z zewnętrznymi czytnikami Iceberg. |
Niewspierane |
| Widok tymczasowy | CREATE TEMPORARY VIEW |
temporary_view() |
| Tabela prywatna |
CREATE PRIVATE STREAMING TABLE, CREATE PRIVATE MATERIALIZED VIEW |
table(private=True) |
| Automatyczny CDC | AUTO CDC ... INTO |
create_auto_cdc_flow() |
| Automatyczne CDC na podstawie migawki | AUTO CDC ... FROM SNAPSHOT |
create_auto_cdc_from_snapshot_flow() |
| Flow | CREATE FLOW |
append_flow() |
| Sink | Niewspierane |
create_sink(), foreach_batch_sink(), foreach_sink() |
| Expectations | CONSTRAINT ... EXPECT |
expect(), expect_or_drop(), expect_or_fail(), oraz warianty expect_all |
Podsumowanie decyzji
Jeśli potrzebujesz...
| Goal | Zalecany interfejs |
|---|---|
| Prostota i czytelność | SQL |
| Szybka konfiguracja deklaratywna | SQL |
| Samodzielna tabela strumieniowa lub zmaterializowany widok | SQL |
| Logika warunkowa lub pętli | Python |
| Funkcje zdefiniowane przez użytkownika lub zewnętrzne biblioteki Python | Python |
| Sinks | Python |
| Pełna kontrola programowa i modułowość | Python |