Informazioni di riferimento sul linguaggio Python per le pipeline dichiarative di Lakeflow

In questa sezione sono disponibili informazioni dettagliate sull'interfaccia di programmazione Python di Lakeflow Declarative Pipelines.

• Per informazioni concettuali e una panoramica dell'uso di Python per le pipeline dichiarative di Lakeflow, vedere Sviluppare codice della pipeline con Python.
• Per informazioni di riferimento su SQL, vedere le informazioni di riferimento sul linguaggio SQL di Lakeflow Declarative Pipelines.
• Per informazioni dettagliate sulla configurazione del caricatore automatico, vedere Che cos'è il caricatore automatico?.

dlt Panoramica del modulo

Le dlt funzioni Python di Lakeflow Declarative Pipelines sono definite nel modulo. Le pipeline implementate con l'API Python devono importare questo modulo:

import dlt

Funzioni per le definizioni dei set di dati

Lakeflow Declarative Pipelines usa l'elemento Decorator Python per definire set di dati, ad esempio viste materializzate e tabelle di streaming. Vedere Funzioni per definire i set di dati.

Informazioni di riferimento sulle API

• append_flow
• create_auto_cdc_flow
• create_auto_cdc_da_flux_di_snapshot
• crea_sink
• create_streaming_table
• Aspettative
• tabella
• visualizza

Considerazioni sulle pipeline dichiarative di Python Lakeflow

Di seguito sono riportate considerazioni importanti quando si implementano le pipeline con l'interfaccia Python di Lakeflow Declarative Pipelines:

• Lakeflow Declarative Pipelines valuta il codice che definisce una pipeline più volte durante la pianificazione e l'esecuzione della pipeline. Le funzioni Python che definiscono i set di dati devono includere solo il codice necessario per definire la tabella o la vista. La logica Python arbitraria inclusa nelle definizioni del set di dati potrebbe causare un comportamento imprevisto.
• Non provare a implementare la logica di monitoraggio personalizzata nelle definizioni del set di dati. Vedere Define custom monitoring of Lakeflow Declarative Pipelines with event hooks (Definire il monitoraggio personalizzato delle pipeline dichiarative di Lakeflow con hook di eventi).
• La funzione usata per definire un set di dati deve restituire un dataframe Spark. Non includere la logica nelle definizioni del set di dati che non sono correlate a un dataframe restituito.
• Non usare mai metodi che salvano o scrivono in file o tabelle come parte del codice del set di dati di Lakeflow Declarative Pipelines.

Esempi di operazioni Apache Spark che non devono mai essere usate nel codice delle pipeline dichiarative di Lakeflow:

• collect()
• count()
• toPandas()
• save()
• saveAsTable()
• start()
• toTable()