Dokumentacja dewelopera potoku

Ta sekcja zawiera informacje i instrukcje dla deweloperów potoków.

Ładowanie i przekształcanie danych są implementowane w potokach przez zapytania definiujące tabele strumieniowe i zmaterializowane widoki. Aby zaimplementować te zapytania, Deklaratywne Potoki Lakeflow Spark obsługują interfejsy SQL i Pythona. Ponieważ te interfejsy zapewniają równoważne funkcje dla większości przypadków użycia w przetwarzaniu danych, deweloperzy potoków mogą wybrać interfejs, z którym czują się najbardziej komfortowo.

programowanie Python

Tworzenie potoków przy użyciu kodu Python.

Temat	Description
Opracuj kod potoku z użyciem Pythona	Omówienie tworzenia potoków w języku Python.
Lakeflow Spark Deklaratywne potoki języka Python	Dokumentacja referencyjna modułu pipelines w języku Python.
Zarządzanie zależnościami Python dla potoków	Instrukcje dotyczące zarządzania bibliotekami Python w potokach.
Importuj moduły Python z folderów git lub plików obszaru roboczego	Instrukcje dotyczące używania modułów Python przechowywanych w Azure Databricks.

Programowanie w języku SQL

Tworzenie potoków przy użyciu kodu SQL.

Temat	Description
Opracowywanie kodu deklaratywnego potoków platformy Spark w usłudze Lakeflow przy użyciu języka SQL	Omówienie opracowywania potoków w języku SQL.
Odwołanie do języka SQL dla potoku	Dokumentacja referencyjna składni SQL dla potoków deklaratywnych Lakeflow Spark.
Używanie pipeline w Databricks SQL	Użyj usługi Databricks SQL do pracy z potokami.

Inne tematy programistyczne

W poniższych tematach opisano inne sposoby opracowywania linii piplines.

Temat	Description
Przekształć potok w projekt pakietu	Przekonwertuj istniejący potok danych na pakiet, dzięki któremu możesz zarządzać konfiguracją przetwarzania danych w pliku YAML objętym kontrolą wersji, co ułatwia konserwację i zautomatyzowane wdrożenia w środowiskach docelowych.
Metaprogramowanie z użyciem deklaratywnych potoków Lakeflow Spark	Tworzenie potoków za pomocą biblioteki dlt-meta. Użyj biblioteki open source dlt-meta, aby zautomatyzować tworzenie potoków za pomocą platformy opartej na metadanych. Samouczek: tworzenie wielu przepływów z różnymi parametrami. Utwórz wiele przepływów w pętli w Python.
Opracowywanie kodu potoku w lokalnym środowisku projektowym	Omówienie opcji tworzenia potoków lokalnie.