Dokumentacja języka Python dla potoków deklaratywnych lakeflow

Ta sekcja zawiera szczegółowe informacje dotyczące interfejsu programowania w języku Python dla deklaratywnych potoków Lakeflow.

• Aby uzyskać informacje koncepcyjne i omówienie używania języka Python dla potoków deklaratywnych usługi Lakeflow, zobacz Develop pipeline code with Python (Opracowywanie kodu potoku przy użyciu języka Python).
• Aby uzyskać informacje na temat języka SQL, zobacz dokumentację języka SQL pipelines deklaratywnego usługi Lakeflow.
• Aby uzyskać szczegółowe informacje dotyczące konfigurowania automatycznego modułu ładującego, zobacz Co to jest moduł automatycznego ładowania?.

dlt omówienie modułu

Funkcje Pythona dla Deklaratywnych Potoków Lakeflow są zdefiniowane w module dlt. Przepływy zaimplementowane przy użyciu interfejsu API języka Python muszą zaimportować ten moduł.

import dlt

Funkcje dla definicji zestawów danych

Deklaratywne potoki Lakeflow używają dekoratora języka Python do definiowania zestawów danych, takich jak materializowane widoki i tabele strumieniowe. Zobacz Funkcje, aby zdefiniować zestawy danych.

Referencja API

• append_flow
• create_auto_cdc_flow
• utwórz_auto_cdc_z_przepływu_szkicu
• utwórz_zlew
• utwórz_tabelę_strumieniową
• Oczekiwania
• tabela
• widok

Zagadnienia dotyczące potoków deklaratywnych języka Python Lakeflow

Poniżej przedstawiono ważne zagadnienia dotyczące implementowania potoków za pomocą interfejsu Python deklaratywnych potoków Lakeflow:

• Deklaratywne potoki Lakeflow oceniają kod, który definiuje potok, wielokrotnie podczas planowania i uruchamiania potoku. Funkcje języka Python definiujące zestawy danych powinny zawierać tylko kod wymagany do zdefiniowania tabeli lub widoku. Dowolna logika języka Python zawarta w definicjach zestawu danych może prowadzić do nieoczekiwanego zachowania.
• Nie próbuj implementować niestandardowej logiki monitorowania w definicjach zestawu danych. Zobacz Definiowanie niestandardowego monitorowania Potoków Deklaratywnych Lakeflow za pomocą haczyków zdarzeń.
• Funkcja używana do definiowania zestawu danych musi zwracać ramkę danych platformy Spark. Nie uwzględniaj logiki w definicjach zestawu danych, które nie odnoszą się do zwracanej ramki danych.
• Nigdy nie używaj metod, które zapisują w plikach lub tabelach, w ramach kodu zestawu danych potoków Deklaratywnych Lakeflow.

Przykłady operacji platformy Apache Spark, które nigdy nie powinny być używane w kodzie potoków deklaratywnych Lakeflow.

• collect()
• count()
• toPandas()
• save()
• saveAsTable()
• start()
• toTable()