Informazioni di riferimento per sviluppatori di pipeline

Questa sezione contiene informazioni di riferimento e istruzioni per gli sviluppatori di pipeline.

Il caricamento e le trasformazioni dei dati vengono implementati nelle pipeline da query che definiscono tabelle di streaming e viste materializzate. Per implementare queste query, Le pipeline dichiarative di Lakeflow Spark supportano le interfacce SQL e Python. Poiché queste interfacce forniscono funzionalità equivalenti per la maggior parte dei casi d'uso dell'elaborazione dei dati, gli sviluppatori di pipeline possono scegliere l'interfaccia con cui sono più confortevoli.

Sviluppo Python

Creare pipeline usando il codice Python.

Argomento	Description
Sviluppare codice della pipeline con Python	Panoramica dello sviluppo di pipeline in Python.
Informazioni di riferimento sul linguaggio Python per le pipeline dichiarative di Lakeflow Spark	Documentazione di riferimento di Python per il pipelines modulo.
Gestire le dipendenze Python per le pipeline	Istruzioni per la gestione delle librerie Python nelle pipeline.
Importare moduli Python da cartelle Git o file dell'area di lavoro	Istruzioni per l'uso di moduli Python archiviati in Azure Databricks.

Sviluppo SQL

Creare pipeline usando il codice SQL.

Argomento	Description
Sviluppare codice di pipeline dichiarative di Lakeflow Spark con SQL	Panoramica dello sviluppo di pipeline in SQL.
Informazioni di riferimento sul linguaggio SQL della pipeline	Documentazione di riferimento per la sintassi SQL per le pipeline dichiarative di Lakeflow Spark.
Usare le pipeline in Databricks SQL	Usare Databricks SQL per usare le pipeline.

Altri argomenti sullo sviluppo

Negli argomenti seguenti vengono descritti altri modi per sviluppare pipeline.

Argomento	Description
Convertire una pipeline in un progetto di aggregazione di asset di Databricks	Convertire una pipeline esistente in un bundle, che consente di gestire la configurazione dell'elaborazione dati in un file YAML controllato dall'origine per semplificare la manutenzione e le distribuzioni automatizzate negli ambienti di destinazione.
Creare pipeline con dlt-meta	Usare la libreria open source dlt-meta per automatizzare la creazione di pipeline con un framework basato sui metadati.
Sviluppare codice della pipeline nell'ambiente di sviluppo locale	Panoramica delle opzioni per lo sviluppo di pipeline in locale.