Iteratív fejlesztés és hibakeresés az Azure Data Factory és a Synapse Analytics-folyamatokkal

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Az Azure Data Factory és a Synapse Analytics támogatja a folyamatok iteratív fejlesztését és hibakeresését. Ezek a funkciók lehetővé teszik a módosítások tesztelését egy lekéréses kérelem létrehozása vagy a szolgáltatásban való közzététele előtt.

A funkció nyolcperces bemutatásához és ismertetéséhez tekintse meg az alábbi videót.

Adatcsatorna hibakeresése

Miközben a folyamatvásznat használja, a Debug funkcióval tesztelheti tevékenységeit. Tesztfuttatások végrehajtásakor nem kell közzétennie a módosításokat a szolgáltatásban a Hibakeresés kiválasztása előtt. Ez a funkció olyan helyzetekben hasznos, ahol a munkafolyamat frissítése előtt meg szeretné győződni arról, hogy a módosítások a várt módon működnek.

A folyamat futása közben az egyes tevékenységek eredményeit a folyamatvászon Kimenet lapján tekintheti meg.

A tesztfuttatások eredményeit a folyamatvászon Kimeneti ablakában tekintheti meg.

A sikeres tesztfuttatás után adjon hozzá további tevékenységeket a folyamathoz, és folytassa a hibakeresést iteratív módon. A tesztfuttatást a folyamatban lévő állapotban is megszakíthatja .

Fontos

A Hibakeresés kiválasztása ténylegesen futtatja a folyamatot. Ha például a folyamat másolási tevékenységet tartalmaz, a teszt a forrásból a célhelyre másolja az adatokat. Ennek eredményeképpen javasoljuk, hogy hibakereséskor használjon tesztmappát a másolási tevékenységekben és más tevékenységekben. A folyamat hibakeresése után váltson a normál műveletekben használni kívánt mappákra.

Töréspontok beállítása

A szolgáltatás lehetővé teszi egy folyamat hibakeresését, amíg el nem éri a folyamat vásznán egy adott tevékenységet. Tegyen egy töréspontot arra a tevékenységre, ameddig tesztelni szeretne, és válassza a Hibakeresés gombot. A szolgáltatás biztosítja, hogy a teszt csak a töréspont-tevékenységig fusson a folyamatvászonon. Ez a hibakeresési funkció akkor hasznos, ha nem szeretné tesztelni a teljes folyamatot, hanem csak a folyamaton belüli tevékenységek egy részhalmazát.

Töréspont beállításához jelöljön ki egy elemet a folyamatvászonon. A Hibakeresési beállítás üres piros körként jelenik meg az elem jobb felső sarkában.

Miután kiválasztotta a Hibakeresés addig lehetőséget, egy kitöltött piros kör jelenik meg, mely jelzi, hogy a töréspont engedélyezve van.

Hibakeresési futtatások figyelése

Folyamatkeresés futtatásakor az eredmények megjelennek a folyamatvászon Kimeneti ablakában. A kimeneti lap csak az aktuális böngésző munkamenete során történt legutóbbi futtatásokat tartalmazza.

A hibakeresési futtatások előzménynézetének megtekintéséhez vagy az összes aktív hibakeresési futtatás listájának megtekintéséhez nyissa meg a Figyelés felületet.

Azure Data Factory

Synapse Analytics

Feljegyzés

A szolgáltatás csak 15 napig megőrzi a hibakeresési futtatási előzményeket.

Leképezési adatfolyamok hibakeresése

Az adatfolyamok leképezése lehetővé teszi, hogy kód nélküli, nagy léptékben futó adatátalakítási logikát hozzon létre. Logikája építésekor bekapcsolhat egy hibakeresési munkamenetet a dolgok interaktív feldolgozásához, egy aktív Spark klaszter használatával. További információkért olvassa el az adatfolyam-hibakeresési mód leképezését.

Az aktív adatfolyam-hibakeresési munkameneteket a Monitorozás felületen figyelheti.

Az adatfolyam-tervező eszköz adatelőnézete és az adatfolyamok hibakeresése úgy vannak kialakítva, hogy a kis adatmintákkal működjenek a legjobban. Ha azonban nagy mennyiségű adaton kell tesztelnie a logikát egy folyamatban vagy adatfolyamban, növelje a hibakeresési munkamenetben használt Azure Integration Runtime méretét több maggal és minimális általános célú számítással.

Folyamat hibakeresése adatfolyam-tevékenységgel

A hibakeresési folyamat adatfolyammal való futtatásakor két lehetőség közül választhat, hogy melyik számítást kell használnia. Használhat egy meglévő hibakeresési fürtöt, vagy létrehozhat egy új, igény szerint működő fürtöt az adatfolyamokhoz.

A meglévő hibakeresési munkamenetek használata jelentősen csökkenti az adatfolyam indítási idejét, mivel a fürt már fut, de összetett vagy párhuzamos számítási feladatok esetén nem ajánlott, mert több feladat egyidejű futtatása esetén meghiúsulhat.

Az aktivitási futtatási környezet használatával új fürt jön létre az egyes adatfolyam-tevékenységek integrációs futtatókörnyezetében megadott beállítások alkalmazásával. Ez lehetővé teszi az egyes feladatok elkülönítését, és összetett számítási feladatokhoz vagy teljesítménytesztekhez kell használni. Az Azure IR-ben is szabályozhatja a TTL-t, így a hibakereséshez használt fürterőforrások továbbra is elérhetők maradnak az adott időszakra a további feladatkérések kiszolgálásához.

Feljegyzés

Ha olyan folyamattal rendelkezik, amelynek adatfolyamai párhuzamosan futnak, vagy nagy adathalmazokkal kell tesztelni az adatfolyamokat, válassza a "Tevékenységfuttatás használata" lehetőséget, hogy a szolgáltatás használni tudja az adatfolyam-tevékenységben kiválasztott integrációs modult. Ez lehetővé teszi, hogy az adatfolyamok több fürtön futhassanak, és el tudják fogadni a párhuzamos adatfolyam-végrehajtásokat.

Kapcsolódó tartalom

A módosítások tesztelése után a folyamatos integráció és üzembe helyezés használatával előléptetheti őket magasabb környezetekbe.