Folyamatfejlesztői referencia

Adatbetöltések és átalakítások implementálása a Lakeflow-folyamatokban a streamelési táblákat és a materializált nézeteket meghatározó lekérdezésekkel. A Lakeflow-folyamatok az SQL és Python interfészeket is támogatják. Mivel a legtöbb adatfeldolgozási használati esetben egyenértékű funkciókat biztosítanak, kiválaszthatja, hogy melyik felület a legkényelmesebb. A döntéshez az SQL és a Python kiválasztása című témakörben talál segítséget.

Python fejlesztés

Csővezetékek létrehozása Python kóddal.

Téma	Description
Pipeline kód fejlesztése Python használatával	Csővezetékek fejlesztésének áttekintése Pythonban.
Lakeflow-folyamatok Python nyelvi referencia	Python pipelines modul referenciadokumentációja.
Folyamatok Python függőségeinek kezelése	Utasítások Python kódtárak folyamatokban való kezeléséhez.
Modulok importálása Python Git-mappákból vagy munkaterületfájlokból	Utasítások a Python modulok Azure Databricks-ben történő, Ön által tárolt használatához.

SQL-fejlesztés

Folyamatok létrehozása SQL-kóddal.

Téma	Description
Lakeflow-folyamatkód fejlesztése SQL-lel	A folyamatok SQL-ben történő fejlesztésének áttekintése.
Pipeline SQL nyelvi referenciája	Referenciadokumentáció a Lakeflow-folyamatok SQL-szintaxisához.
Önálló pipeline-ok	A Databricks SQL használata csővezetékekkel való munkára.

Egyéb fejlesztési témakörök

Az alábbi témakörök a folyamatcsatornák fejlesztésének más módszereit mutatják be.

Téma	Description
Folyamat átalakítása csomagprojektté	Meglévő csővezeték átalakítása csomaggá, amely lehetővé teszi, hogy az adatfeldolgozási konfigurációt egy verziókezelt YAML-fájlban kezeljük, megkönnyítve a karbantartást és az automatizált telepítéseket a célkörnyezetekbe.
Metaprogramozás Lakeflow-folyamatokkal	Folyamatok létrehozása dlt-meta használatával. A nyílt forráskód dlt-meta kódtár használatával automatizálhatja a folyamatok létrehozását metaadatalapú keretrendszerrel. Oktatóanyag: Több folyamat létrehozása különböző paraméterekkel. Hozzon létre több folyamatot egy ciklusban Pythonban.
Folyamatkód fejlesztése a helyi fejlesztési környezetben	A folyamatláncok helyi fejlesztésének lehetőségeinek áttekintése.