Informazioni di riferimento per sviluppatori di pipeline

Questa sezione contiene informazioni di riferimento e istruzioni per gli sviluppatori di pipeline.

Il caricamento e le trasformazioni dei dati vengono implementati nelle pipeline da query che definiscono tabelle di streaming e viste materializzate. Per implementare queste query, Le pipeline dichiarative di Lakeflow Spark supportano interfacce SQL e Python. Poiché queste interfacce forniscono funzionalità equivalenti per la maggior parte dei casi d'uso dell'elaborazione dei dati, gli sviluppatori di pipeline possono scegliere l'interfaccia con cui sono più confortevoli.

sviluppo Python

Creare pipeline utilizzando codice Python.

Argomento	Description
Sviluppa codice per la pipeline con Python	Panoramica dello sviluppo di pipeline in Python.
Riferimento linguistico Python per le pipeline dichiarative di Lakeflow Spark	Documentazione di riferimento di Python per il modulo pipelines.
Gestisci le dipendenze Python per le pipeline	Istruzioni per la gestione delle librerie Python nelle pipeline.
Importare moduli di Python da cartelle Git o file dell'area di lavoro	Istruzioni per l'uso di moduli Python archiviati in Azure Databricks.

Sviluppo SQL

Creare pipeline usando il codice SQL.

Argomento	Description
Sviluppare codice di pipeline dichiarative di Lakeflow Spark con SQL	Panoramica dello sviluppo di pipeline in SQL.
Informazioni di riferimento sul linguaggio SQL della pipeline	Documentazione di riferimento per la sintassi SQL per le pipeline dichiarative di Lakeflow Spark.
Usare le pipeline in Databricks SQL	Usare Databricks SQL per usare le pipeline.

Altri argomenti sullo sviluppo

Negli argomenti seguenti vengono descritti altri modi per sviluppare pipeline.

Argomento	Description
Convertire una pipeline in un progetto di bundle	Convertire una pipeline esistente in un bundle, che consente di gestire la configurazione dell'elaborazione dati in un file YAML controllato dall'origine per semplificare la manutenzione e le distribuzioni automatizzate negli ambienti di destinazione.
Metaprogrammazione con pipeline dichiarative di Lakeflow Spark	Creare pipeline con dlt-meta. Usare la libreria open source dlt-meta per automatizzare la creazione di pipeline con un framework basato sui metadati. Esercitazione: Creare più flussi con parametri diversi. Creare più flussi in un ciclo in Python.
Sviluppare codice della pipeline nell'ambiente di sviluppo locale	Panoramica delle opzioni per lo sviluppo di pipeline in locale.