Forrásvezérelt folyamat létrehozása

Az Azure Databricksben forrásként vezérelheti a folyamatokat és a hozzá társított összes kódot. Az összes, a folyamathoz kapcsolódó fájlt verziókövetéssel kezelve az átalakítási kód, a vizsgálati kód és a folyamatkonfiguráció változásai mind verziózva vannak a Gitben, ami lehetővé teszi azok fejlesztés alatti tesztelését és biztonságos éles üzembe helyezését.

A forrásvezérelt folyamatok a következő előnyöket kínálják:

• Nyomon követhetőség: A Git-előzmények minden változásának rögzítése.
• Tesztelés: A fejlesztési munkaterületen végzett folyamatváltozások ellenőrzése, mielőtt azokat a közös éles munkaterületre helyeznék át. Minden fejlesztő saját fejlesztési folyamatokkal rendelkezik a saját kódágán egy Git-mappában és a saját sémájában.
• Együttműködés: Ha az egyéni fejlesztés és tesztelés befejeződött, a kódmódosítások le lesznek küldve a fő éles folyamatba.
• Irányítás: Igazodik a vállalati CI/CD és az üzembe helyezési szabványokhoz.

Az Azure Databricks lehetővé teszi, hogy a folyamatok és forrásfájljaik közösen vezérelhetők legyenek a Deklaratív Automation-csomagok használatával. Csomagok esetén a folyamatkonfiguráció a folyamat Python- vagy SQL-forrásfájljai mellett YAML-konfigurációs fájlok formájában is vezérelhető. Egy csomag egy vagy több folyamatból, valamint más erőforrástípusokból, például feladatokból állhat.

Megjegyzés:

A csomag nem különálló kihúzó, transzformáló, betöltő (ETL) keretrendszer vagy alternatíva a Lakeflow pipeline-ek számára. Ez egy csomagolási és telepítési formátum: a projektet, valamint a pipeline köré épülő folyamatos integrációs és folyamatos kézbesítési (CI/CD) keretet foglalja magában. Az adatlogika a Lakeflow pipelines-ban marad (@dp.table, CREATE STREAMING TABLE, expectations és AUTO CDC), és a csomag meghatározza, hogyan telepítik a kódot egy munkaterületen és különböző környezetekben. Mindkettőt együtt használod: a Lakeflow pipelines szolgál arra, hogy meghatározd, mit csinál a folyamat, a csomag pedig arra, hogy hogyan kerül szállításra.

Ez a lap bemutatja, hogyan állíthat be forrásvezérelt folyamatot deklaratív Automation-csomagok (korábbi nevén Databricks-eszközcsomagok) használatával. A csomagokról további információt a Deklaratív automatizálási csomagok című témakörben talál.

Requirements

Forrásvezérelt folyamat létrehozásához már rendelkeznie kell a következővel:

• A munkaterületen létrehozott és konfigurált Git-mappa. A Git-mappák lehetővé teszik az egyes felhasználók számára a módosítások szerkesztését és tesztelését, mielőtt véglegesítik őket egy Git-adattárban. Tekintse meg az Azure Databricks Git-mappákat.
• A Lakeflow Pipelines-szerkesztő. További információ: ETL-folyamatok fejlesztése és hibakeresése a Lakeflow Pipelines-szerkesztővel .
• A folyamatok és kimeneteik létrehozásához, futtatásához, frissítéséhez és megtekintéséhez szükséges jogosultságok teljes készletét a folyamatok identitásainak, engedélyeinek és jogosultságainak kezelése című témakörben találhatja meg.

Új folyamatlánc létrehozása csomagban

Megjegyzés:

A Databricks azt javasolja, hogy hozzon létre egy olyan folyamatot, amely a kezdetektől fogva forrásvezérelt. Másik lehetőségként hozzáadhat egy meglévő pipeline-t egy olyan csomaghoz, amely már forráskezelés alatt áll. Lásd: Meglévő erőforrások migrálása csomagba.

Új forrásvezérelt folyamat létrehozása:

1. Az oldalsáv tetején kattintson a Új , majd válassza a ETL-folyamat.

2. Végezze el a folyamat nevét vagy sémáját érintő módosításokat. Lásd : Új ETL-folyamat létrehozása.

3. Kattintson a menü (a Használja a mintakód gombot), és válassza a Állítson be forrásvezéreltként.

4. Kattintson az Új projekt létrehozása gombra, majd válassza ki azt a Git-mappát, ahová a kódot és a konfigurációt el szeretné helyezni:

   

5. Kattintson a Tovább feliratra.

6. Adja meg a következőket az Eszközcsomag létrehozása párbeszédpanelen:

   • Csomag neve: A csomag neve.
   • Kezdeti katalógus: A használni kívánt sémát tartalmazó katalógus neve.
   • Személyes séma használata: Hagyja bejelölve ezt a jelölőnégyzetet, ha el szeretné különíteni a módosításokat egy személyes sémához, hogy amikor a szervezet felhasználói ugyanazon a projekten dolgoznak, ne írja felül egymás módosításait a devben.
   • Kezdeti nyelv: A projekt mintafolyamat-fájljaihoz használandó kezdeti nyelv, Python vagy SQL használatával.

   

7. Kattintson a Létrehozás és üzembe helyezés gombra. A Git mappában létrejön egy csomag csővezetékkel.

A folyamatcsomag megismerése

Ezután ismerkedjen meg a létrehozott folyamatcsomaggal.

A Git mappában található csomag csomagrendszerfájlokat és fájlt databricks.yml tartalmaz, amelyek változókat, cél-munkaterület URL-címeket és engedélyeket, valamint a csomag egyéb beállításait határozzák meg. Mivel databricks.yml a csomag gyökerében (a folyamatgyökér szülőjében) található, váltson a folyamatobjektum-böngésző Minden fájl lapjára annak megtekintéséhez. A resources kötegek mappájában találhatók az erőforrások, például a folyamatok és a feladatok definíciói.

Nyissa meg a resources mappát, majd kattintson a folyamatszerkesztő gombra a forrásvezérelt folyamat megtekintéséhez:

A mintafolyamat-csomag a következő fájlokat tartalmazza:

• Mintafeltárási jegyzetfüzet

• Két mintakódfájl, amelyek transzformációkat végeznek a táblákon

• Segédprogramfüggvényt tartalmazó mintakódfájl

• Feladatkonfigurációs YAML-fájl, amely meghatározza a feladatot a folyamatot futtató csomagban

• A folyamatot meghatározó folyamatkonfigurációs YAML-fájl

  Fontos

  A fájlt úgy kell szerkesztenie, hogy véglegesen megőrizze a folyamat konfigurációs módosításait, beleértve a felhasználói felületen végrehajtott módosításokat is, ellenkező esetben a felhasználói felület módosításai felül lesznek bírálva a csomag ismételt üzembe helyezésekor. Ha például egy másik alapértelmezett katalógust szeretne beállítani a folyamathoz, szerkessze a catalog konfigurációs fájl mezőjét.

• README-fájl, amely további részleteket tartalmaz a mintafolyamat-csomagról, valamint a folyamat futtatására vonatkozó utasítások

További információ a folyamatfájlokról: Pipeline asset browser.

A folyamatcsomag módosításainak szerkesztésével és üzembe helyezésével kapcsolatos további információkért lásd : Kötegek létrehozása a munkaterületen , kötegek üzembe helyezése és munkafolyamatok futtatása a munkaterületről.

Csővezeték futtatása

Futtathat egyéni átalakításokat vagy a teljes forrásvezérelt folyamatot:

• Ha egyetlen átalakítást szeretne futtatni és megtekinteni a folyamatban, válassza ki az átalakítási fájlt a munkaterület böngészőfán, és nyissa meg a fájlszerkesztőben. A fájl tetején kattintson a Fájl lejátszásának futtatása gombra.
• A folyamat összes átalakításának futtatásához kattintson a Folyamat futtatása gombra a Databricks-munkaterület jobb felső sarkában.

További információ a folyamatok futtatásáról: Folyamatkód futtatása.

A folyamatlánc frissítése

Frissítheti a folyamat összetevőit, vagy további feltárásokat és átalakításokat adhat hozzá, de ezeket a módosításokat le szeretné küldeni a GitHubra. Kattintson az , amely a folyamatcsomaghoz társított Git ikon. Alternatívaként kattintson a mappához tartozó kebabra, majd válassza a Git... lehetőséget a leküldésre szánt módosítások kiválasztásához. Lásd : Módosítások véglegesítése és leküldése.

Ezenkívül a folyamatkonfigurációs fájlok frissítésekor vagy a csomagból származó fájlok hozzáadásakor vagy eltávolításakor a rendszer csak akkor propagálja ezeket a módosításokat a cél-munkaterületre, ha kifejezetten üzembe helyezi a csomagot. Lásd: Csomagok üzembe helyezése és munkafolyamatok futtatása a munkaterületről.

Megjegyzés:

A Databricks azt javasolja, hogy tartsa meg a forrásvezérelt folyamatok alapértelmezett beállítását. Az alapértelmezett beállítás úgy van konfigurálva, hogy ne kelljen szerkesztenie a folyamatcsomag YAML-konfigurációját, ha további fájlokat ad hozzá a felhasználói felületen keresztül.

Meglévő folyamatlánc hozzáadása a csomaghoz

Meglévő folyamat köteghez való hozzáadásához először hozzon létre egy csomagot a munkaterületen, majd adja hozzá a folyamat YAML-definícióját a csomaghoz az alábbi oldalakon leírtak szerint:

• Oktatóanyag: Csomag létrehozása és üzembe helyezése a munkaterületen
• Meglévő erőforrás hozzáadása egy csomaghoz

Ha tudni szeretné, hogyan migrálhat erőforrásokat egy csomagba a Databricks parancssori felületével, olvassa el a meglévő erőforrások migrálása csomagba című témakört.

További erőforrások

A folyamatcsatornákról szóló további oktatóanyagokért és referenciaanyagokért lásd: Spark Declarative Pipelines.