Dokumentacja dewelopera potoku

Ta sekcja zawiera informacje i instrukcje dla deweloperów potoków.

Ładowanie i przekształcanie danych są implementowane w potokach przez zapytania definiujące tabele strumieniowe i zmaterializowane widoki. Aby zaimplementować te zapytania, potoki deklaratywne Lakeflow Spark obsługują interfejsy SQL i Python. Ponieważ te interfejsy zapewniają równoważne funkcje dla większości przypadków użycia w przetwarzaniu danych, deweloperzy potoków mogą wybrać interfejs, z którym czują się najbardziej komfortowo.

Tworzenie aplikacji w języku Python

Tworzenie potoków przy użyciu kodu w języku Python.

Temat	Description
Opracowywanie kodu potoku w Pythonie	Omówienie tworzenia potoków w języku Python.
Referencja języka Python dla deklaratywnych potoków Lakeflow Spark	Dokumentacja referencyjna języka Python dla modułu pipelines .
Zarządzanie zależnościami języka Python dla potoków	Instrukcje dotyczące zarządzania bibliotekami języka Python w potokach.
Importowanie modułów języka Python z folderów git lub plików obszaru roboczego	Instrukcje dotyczące używania modułów języka Python przechowywanych w usłudze Azure Databricks.

Programowanie w języku SQL

Tworzenie potoków przy użyciu kodu SQL.

Temat	Description
Opracowywanie kodu deklaratywnego potoków platformy Spark w usłudze Lakeflow przy użyciu języka SQL	Omówienie opracowywania potoków w języku SQL.
Odwołanie do języka SQL dla potoku	Dokumentacja referencyjna składni SQL dla potoków deklaratywnych Lakeflow Spark.
Używanie pipeline w Databricks SQL	Użyj usługi Databricks SQL do pracy z potokami.

Inne tematy programistyczne

W poniższych tematach opisano inne sposoby opracowywania linii piplines.

Temat	Description
Przekształć potok w projekt pakietu	Przekonwertuj istniejący potok danych na pakiet, dzięki któremu możesz zarządzać konfiguracją przetwarzania danych w pliku YAML objętym kontrolą wersji, co ułatwia konserwację i zautomatyzowane wdrożenia w środowiskach docelowych.
Tworzenie potoków za pomocą biblioteki dlt-meta	Użyj biblioteki open source dlt-meta , aby zautomatyzować tworzenie potoków za pomocą platformy opartej na metadanych.
Opracowywanie kodu potoku w lokalnym środowisku projektowym	Omówienie opcji tworzenia potoków lokalnie.