Data Factory-folyamatok hibakeresése
Az ügyfélkövetelmények és az elvárások az adatintegrációval kapcsolatban változnak. Ezért egyre sürgetőbb, hogy a felhasználók iteratív módon fejlesszék ki és hibakereséssel töltsék ki az ETL-et és a Betöltés/átalakítás (ELT) munkafolyamatokat.
Az Azure Data Factory segítségével iteratív hibakeresési Data Factory-folyamatokat hozhat létre és fejleszthet az adatintegrációs megoldás fejlesztése során. Ha egy folyamatot a folyamatvászon használatával hoz létre, a Debug funkcióval tesztelheti a tevékenységeket és a folyamatokat.
Az Azure Data Factoryben nincs szükség módosítások közzétételére a folyamatban vagy a tevékenységekben, mielőtt hibakeresést szeretne végezni. Ez olyan forgatókönyvekben hasznos, amikor tesztelni szeretné a módosításokat, és meg szeretné nézni, hogy az elvárt módon működik-e, mielőtt ténylegesen mentené és közzéteené őket.
Előfordulhat, hogy nem a teljes folyamatot szeretné hibakeresésre használni, hanem tesztelni a folyamat egy részét. A hibakeresési futtatás lehetővé teszi, hogy ezt tegye. Tesztelheti a folyamat végét, vagy beállíthat töréspontot. Ezzel hibakeresési módban interaktívan megtekintheti az egyes lépések eredményeit a folyamat létrehozása és hibakeresése során.
Folyamat hibakeresése és közzététele
Futó folyamat létrehozásakor vagy módosításakor a folyamatvászon Kimenet lapján láthatja az egyes tevékenységek eredményeit.
Miután egy tesztfuttatás sikeres volt, és elégedett az eredménnyel, további tevékenységeket adhat hozzá a folyamathoz, és iteratív módon folytathatja a hibakeresést. Ha nem elégedett, vagy szeretné megakadályozni a folyamat hibakeresését, megszakíthatja a tesztfuttatást, amíg az folyamatban van. Vegye figyelembe, hogy a hibakeresési csúszka kiválasztásával ténylegesen futtatja a folyamatot. Ezért ha a folyamat például másolási tevékenységet tartalmaz, a tesztfuttatás adatokat másol a forrásból a célhelyre.
A hibakeresés során ajánlott tesztmappákat használni a másolási tevékenységekben és más tevékenységekben, így ha elégedett az eredményekkel, és hibakeresést végez a folyamaton, akkor a normál műveletek tényleges mappáira válthat.
A folyamat hibakereséséhez válassza a Hibakeresés elemet az eszköztáron. A folyamat futtatási állapotát az ablak alján található Kimenet lapon tekintheti meg.
Miután a folyamat sikeresen lefutott, a felső eszköztáron válassza az Összes közzététele lehetőséget. Ez a művelet közzéteszi a létrehozott entitásokat (adatkészleteket és folyamatokat) a Data Factoryben.
Várjon, amíg megjelenik a sikeresen közzétett üzenet. Az értesítési üzenetek megtekintéséhez válassza az Értesítések megjelenítése (harang ikon) lehetőséget a portál jobb felső sarkában (haranggomb).
Adatfolyam-hibakeresés leképezése
A leképezési Adatfolyam létrehozása során interaktívan megnézheti, hogyan hajtják végre az adatalakzatokat és az átalakításokat, hogy hibakeresést végezhet rajtuk. A funkció használatához először be kell kapcsolni a "Adatfolyam Hibakeresés" funkciót.
A hibakeresési munkamenet Adatfolyam tervezési munkamenetekben és az adatfolyamok folyamatának hibakeresése során egyaránt használható. Miután be van kapcsolva a hibakeresési mód, az adatfolyamot egy aktív Spark-fürttel fogja létrehozni. A Spark-fürt bezárul, ha a hibakeresés ki van kapcsolva. Választhat, hogy melyik számítást fogja használni. Ha meglévő hibakeresési fürtöt használ, az csökkenti az indítási időt. Összetett vagy párhuzamos számítási feladatok esetén azonban érdemes lehet saját, igény szerint létrehozott fürtöt létrehozni.
Az adatfolyamok hibakeresésének ajánlott eljárásai a hibakeresési mód bekapcsolva tartása, valamint az adatfolyamban található üzleti logika ellenőrzése és ellenőrzése. Az adatátalakítások és alakzatok vizuális megtekintése segít a módosítások megtekintésében.
Ha egy létrehozott folyamatban szeretné tesztelni az adatfolyamot, a legjobb, ha a folyamatpanel Hibakeresés gombját használja. Bár az adatelőnézet nem ír adatokat, az adatfolyamon belüli hibakeresési futtatás a folyamat hibakereséséhez hasonlóan adatokat ír a fogadó célhelyére.
Hibakeresési beállítások
A korábban leírtaknak megfelelően az Azure Data Factory felhasználói felületéről indított hibakeresési munkamenetek új munkamenetnek minősülnek a saját Spark-fürttel. A munkamenetek figyeléséhez a hibakeresési munkamenet figyelési nézetével kezelheti a hibakeresési munkameneteket a beállított Data Factory szerint.
Annak ellenőrzéséhez, hogy egy Spark-fürt készen áll-e a hibakeresésre, ellenőrizheti a fürt állapotjelzését a tervezési felület tetején. Ha zöld, készen áll. Ha a fürt nem fut a hibakeresési mód megadásakor, a várakozási idő körülbelül 5–7 perc lehet, mert a fürtöknek fel kell pörögnie.
Ajánlott eljárás, hogy a hibakeresés befejezése után kapcsolja ki a hibakeresési módot, hogy a Spark-fürt leálljon.
Hibakereséskor a Hibakeresési beállítás kiválasztásával szerkesztheti az adatfolyam adatainak előnézetét. Az adatok előnézetének módosítására példa lehet egy sor- vagy fájlforrás, ha forrásátalakításokat használ. Az átmeneti társított szolgáltatás kiválasztásakor az Azure Synapse Analyticset használhatja forrásként.
Ha a Adatfolyam vagy bármely hivatkozott adatkészletében vannak paraméterek, a Paraméterek lap kiválasztásával megadhatja, hogy milyen értékeket használjon a hibakeresés során. A hibakeresés során a fogadók nem szükségesek, és figyelmen kívül hagyják az adatfolyamban. Ha tesztelni és írni szeretné az átalakított adatokat a fogadóba, végrehajthatja az adatfolyamot egy folyamatból, és használhatja a folyamat hibakeresési végrehajtását.
A korábban ismertetett módon az Azure Data Factoryben csak egy adott pontig vagy tevékenységhez lehet hibakeresést végezni. Ehhez használhat egy töréspontot a tevékenységhez egészen a tesztelni kívánt helyre, majd válassza a Hibakeresés lehetőséget. A Hibakeresési beállítás üres piros körként jelenik meg az elem jobb felső sarkában. Miután kiválasztotta a Hibakeresés addig lehetőséget, egy kitöltött piros körre változik, amely jelzi, hogy a töréspont engedélyezve van. Az Azure Data Factory ezután meggyőződik arról, hogy a teszt csak addig fut, amíg a töréspont-tevékenység nem lesz a folyamatban. Ez a funkció akkor hasznos, ha a folyamat tevékenységeinek csak egy részét szeretné tesztelni.
A legtöbb esetben az Azure Data Factory hibakeresési funkciói elegendőek. Néha azonban szükség van a folyamatok módosításainak tesztelésére egy klónozott tesztkörnyezetben. Erre akkor van szükség, ha olyan paraméteres ETL-folyamatokkal rendelkezik, amelyeket tesztelni szeretne, hogyan viselkednének, amikor fájlbetöltést indítanak el, szemben a gördülékeny időkeretekkel. Ebben az esetben a tesztkörnyezet klónozása alkalmasabb lehet.
Jó dolog lehet tudni az Azure Data Factoryről, hogy mivel többnyire csak a futtatások száma számítja fel, a második Data Factorynek nem kell további díjakat fizetnie.
Hibakeresési futtatások monitorozása
A hibakeresési futtatások figyeléséhez ellenőrizheti a kimeneti lapot, de csak a böngészési munkamenetben legutóbb végrehajtott futtatást, mert az nem jeleníti meg az előzményeket. Ha szeretné megtekinteni a hibakeresési futtatások előzményeit, vagy az összes aktív hibakeresési futtatás látható, lépjen a Figyelés lapra.
Egy dolog, amit szem előtt kell tartani, hogy az Azure Data Factory szolgáltatás csak 15 napig őrzi meg a hibakeresési futtatási előzményeket. Az adatfolyam-hibakeresési munkamenetek monitorozásával kapcsolatban a Figyelés lapra is léphet.
