Folyamatfejlesztői referencia

Ez a szakasz a folyamatfejlesztőkre vonatkozó hivatkozásokat és utasításokat tartalmazza.

Az adatbetöltést és az átalakításokat a folyamatokban streamtáblákat és materializált nézeteket meghatározó lekérdezések hajtják végre. A lekérdezések implementálásához a Lakeflow Spark Deklaratív folyamatok támogatják az SQL- és Python-interfészeket. Mivel ezek az interfészek egyenértékű funkciókat biztosítanak a legtöbb adatfeldolgozási használati esetben, a folyamatfejlesztők kiválaszthatják azt a felületet, amellyel a legkényelmesebbek.

Python-fejlesztés

Python-kóddal hozzon létre pipeline-eket.

Téma	Description
Folyamatkód fejlesztése a Pythonnal	A pipeline-ek Pythonban történő fejlesztésének áttekintése.
Lakeflow Spark Deklaratív folyamatok – Python nyelvi referencia	Python-referenciadokumentáció a pipelines modulhoz.
Folyamatok Python-függőségeinek kezelése	Utasítások a Python-kódtárak folyamatokban való kezeléséhez.
Python-modulok importálása Git-mappákból vagy munkaterületfájlokból	Utasítások az Azure Databricksben tárolt Python-modulok használatához.

SQL-fejlesztés

Folyamatok létrehozása SQL-kóddal.

Téma	Description
Lakeflow Spark Deklaratív folyamatok kód fejlesztése SQL-lel	A folyamatok SQL-ben történő fejlesztésének áttekintése.
Pipeline SQL nyelvi referenciája	Referenciadokumentáció a Lakeflow Spark Deklaratív folyamatok SQL-szintaxisához.
Folyamatok használata a Databricks SQL-ben	A Databricks SQL használata csővezetékekkel való munkára.

Egyéb fejlesztési témakörök

Az alábbi témakörök a piplinek fejlesztésének egyéb módjait ismertetik.

Téma	Description
Folyamat átalakítása Databricks-eszközcsomag-projektté	Meglévő folyamat átalakítása csomaggá, amely lehetővé teszi az adatfeldolgozási konfiguráció kezelését egy forrásvezérelt YAML-fájlban a könnyebb karbantartás és az automatizált üzemelő példányok célkörnyezetekké alakítása érdekében.
Folyamatok létrehozása dlt-meta használatával	A nyílt forráskódú dlt-meta kódtár használatával automatizálhatja a folyamatok létrehozását metaadatalapú keretrendszerrel.
Folyamatkód fejlesztése a helyi fejlesztési környezetben	A folyamatláncok helyi fejlesztésének lehetőségeinek áttekintése.