Azure Data Factory vizuális megfigyelése

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

Miután létrehozott és közzétett egy folyamatot Azure Data Factory, társíthatja azt egy eseményindítóhoz, vagy manuálisan elindíthat egy alkalmi futtatást. Az Azure Data Factory felhasználói felületen natív módon figyelheti az összes folyamatfuttatást. A monitorozási felület megnyitásához válassza a Monitor és Kezelés csempét a data factory ablaktábláján az Azure portálon. Ha már az ADF UX-ben van, kattintson a bal oldali oldalsáv Figyelő ikonra.

Alapértelmezés szerint a Data Factory minden futtatása a böngésző helyi időzónája szerint jelenik meg. Ha módosítja az időzónát, minden dátum/idő mező az újonnan kiválasztott időzónának megfelelően változik.

Csővezeték futtatások monitorozása

Az alapértelmezett figyelési nézet a kiválasztott időszakban aktivált folyamatfuttatások listája. Módosíthatja az időtartamot, és szűrhet az állapot, a továbbítási munkafolyamat neve, vagy megjegyzések szerint. Vigye az egeret a konkrét pipeline futtatásra, hogy elérje a futtatáshoz kapcsolódó műveleteket, mint például az újrafuttatás és a használati jelentés.

A folyamatfuttatási rács a következő oszlopokat tartalmazza:

Oszlop neve	Leírás
Csővezeték neve	A folyamat neve
Futtatás kezdete	A folyamat futtatásának kezdő dátuma és időpontja (MM/DD/YYYY, HH:MM:SS AM/PM)
Futtatás vége	A folyamatfuttatás záró dátuma és ideje (MM/DD/ÉÉÉÉ, Óó:MM:SS AM/PM)
Időtartam	Futtatás időtartama (HH:MM:SS)
Valami által kiváltott	A folyamatot elindító eseményindító neve
Állapot	Sikertelen, Sikeres, Folyamatban, Megszakítva vagy Várólistán
Jegyzetek	Folyamathoz társított szűrhető címkék
Paraméterek	A folyamatfuttatás paraméterei (név-érték párok)
Hiba	Ha a folyamatrendszer meghiúsult, a futtatási hiba
Futás/Futtatás	Eredeti, újrafuttatható vagy újrafuttatható (legújabb)
Futtatási azonosító	A folyamatlánc futásának azonosítója

A folyamat- és tevékenységfuttatások listájának frissítéséhez manuálisan kell kiválasztania a Frissítés gombot. Az automatikus frissítés jelenleg nem támogatott.

A hibakeresési futtatás eredményeinek megtekintéséhez válassza a Hibakeresés lapot.

Tevékenységek futtatásának monitorozása

Ha részletes képet szeretne kapni egy adott folyamatfuttatás egyes tevékenységfuttatásairól, kattintson a folyamat nevére.

A listanézet az egyes folyamatfuttatásoknak megfelelő tevékenységfuttatásokat jeleníti meg. Vigye az egérmutatót az adott tevékenységfuttatás fölé, hogy megkapja a futtatás-specifikus információkat, mint például a JSON-bemenet, a JSON-kimenet és a részletes tevékenység-specifikus figyelési élmények.

Oszlop neve	Leírás
Tevékenység neve	A folyamaton belüli tevékenység neve
Tevékenység típusa	A tevékenység típusa, például Másolás, ExecuteDataFlow vagy AzureMLExecutePipeline
Műveletek	Ikonok, amelyek lehetővé teszik a JSON bemeneti információinak, A JSON kimeneti információinak vagy a tevékenységspecifikus figyelési szolgáltatások részletes megtekintését
Futtatás kezdete	A tevékenység futtatásának kezdő dátuma és időpontja (MM/DD/ÉÉÉÉ, Óó:MM:SS AM/PM)
Időtartam	Futtatás időtartama (HH:MM:SS)
Állapot	Sikertelen, Sikeres, Folyamatban vagy Megszakítva
Integration Runtime	Melyik Integration Runtime futtatták a tevékenységet?
Felhasználói tulajdonságok	A tevékenység felhasználó által definiált tulajdonságai
Hiba	Ha a tevékenység nem sikerült, hibát jelez a futtatás
Futtatási azonosító	A tevékenységfuttatás azonosítója

Ha egy tevékenység sikertelen volt, a hibaoszlopban lévő ikonra kattintva megtekintheti a részletes hibaüzenetet.

Felhasználói tulajdonságok előléptetése monitorozáshoz

Léptesse elő bármelyik folyamatműveleti tulajdonságot felhasználói tulajdonsággá, hogy monitorozható entitássá váljon. Például előléptetheti a folyamata másolási tevékenységének Forrás és Cél tulajdonságait felhasználói tulajdonságokká.

Feljegyzés

Felhasználói tulajdonságokként legfeljebb öt folyamattevékenység-tulajdonságot előléptethet.

A felhasználói tulajdonságok létrehozása után figyelheti őket a figyelési lista nézeteiben.

Ha a másolási tevékenység forrása táblanév, akkor a tevékenységfuttatások listanézetében nyomon követheti a forrástábla nevét egy oszlopként.

Újra futtatott csővezetékek és tevékenységek

A konténertevékenységek újrafuttatásának menete a következő:

• Wait- A tevékenység a korábbiakhoz hasonlóan fog viselkedni.
• Set Variable - A tevékenység a korábbiakhoz hasonlóan fog viselkedni.
• Filter - A tevékenység a korábbiakhoz hasonlóan fog viselkedni.
• Until A tevékenység kiértékeli a kifejezést, és ciklusosan addig fut, amíg a feltétel nem teljesül. Az újrafuttatási szabályok alapján előfordulhat, hogy a benne foglalt tevékenységek így is ki lesznek hagyva.
• Foreach A tevékenység mindig ciklusosan fut a kapott elemeken. Az újrafuttatási szabályok alapján előfordulhat, hogy a benne foglalt tevékenységek így is ki lesznek hagyva.
• If and switch - A feltételek mindig kiértékelésre kerülnek. Minden belső tevékenység kiértékelésre kerül. Előfordulhat, hogy a belső tevékenységek továbbra is kihagyhatók az újrafuttatási szabályok alapján, de az olyan tevékenységek, mint az Adatfolyamat végrehajtása, újrafutnak.
• Execute pipeline activity – A gyermekfolyamat aktiválódik, de a gyermekfolyamat összes tevékenysége továbbra is kihagyható az újrafuttatási szabályok alapján.

Ha egy korábban az elejétől futott folyamatot szeretne újrafutni, mutasson az adott folyamatfuttatásra, és válassza az Újrafuttatás lehetőséget. Ha több folyamatot jelöl ki, az Újrafuttatás gombbal futtathatja az összeset.

Ha egy konkrét ponttól kezdve szeretné újra futtatni, ezt a tevékenység futtatása nézetből teheti meg. Válassza ki azt a tevékenységet, amelyből kiindulni szeretne, és válassza az Újrafuttatás lehetőséget a tevékenységből.

Újrafuttathat egy csővezetéket, és módosíthatja a paramétereket. A paraméterek módosításához válassza az Új paraméterek gombot.

Feljegyzés

A folyamat új paraméterekkel való újrafuttatása új folyamatfuttatásnak minősül, ezért nem jelenik meg a folyamatfuttatás újrafuttatási csoportosítása alatt.

A sikertelen tevékenység újrafuttatása

Ha egy tevékenység meghiúsul, túllépi az időkorlátot vagy megszakítják, a hibás tevékenységtől kezdve lefuttathatja újra a folyamatot az Újrafuttatás a hibás tevékenységtől lehetőség kiválasztásával.

Újrafuttatási előzmények megtekintése

Minden folyamatfuttatás újrafuttatási előzményeit megtekintheti a listanézetben.

Megtekintheti egy adott folyamatfuttatás újrafuttatási előzményeit is.

Fogyasztás monitorozása

A folyamatfuttatás által felhasznált erőforrásokat a futtatás melletti használat ikonra kattintva tekintheti meg.

Az ikonra kattintva megnyílik a folyamatfuttatás által használt erőforrások használati jelentése.

Ezeket az értékeket csatlakoztathatja a Azure díjszabási kalkulátorhoz a folyamatfuttatás költségeinek becsléséhez. Az Azure Data Factory díjszabásával kapcsolatos további információkért lásd: A díjszabás megértése.

Feljegyzés

A díjkalkulátor által visszaadott értékek becslésnek számítanak. Nem tükrözi azt az összeget, amelyet az Azure Data Factory számlázni fog.

Gantt-nézetek

A Gantt-diagram egy olyan nézet, amellyel megtekintheti a futtatási előzményeket egy adott időintervallumra vonatkozóan. Ha egy Gantt-nézetre vált, az összes folyamatot név szerint csoportosítva láthatja, sávként megjelenítve, amely relatív hossz szerint van elrendezve. Csoportosíthatja a folyamaton létrehozott széljegyzetek/címkék szerint is. A Gantt-nézet a tevékenység futási szintjén is elérhető.

A csík hossza mutatja a folyamat időtartamát. A sávot is kiválaszthatja, hogy további részleteket lásson.

Riasztások

A Data Factoryben egyes támogatott metrikákra vonatkozó riasztásokat hozhat létre. Első lépésként válassza a Riasztások figyelése>> metrika lehetőséget a Data Factory monitorozási oldalán.

A funkció hétperces bevezetőjéhez és bemutatásához tekintse meg az alábbi videót.

Riasztások létrehozása

1. Új riasztás létrehozásához válassza az Új riasztási szabály lehetőséget.

   

2. Adja meg a szabály nevét, és válassza ki a riasztás súlyosságát.

   

3. Válassza ki a riasztási feltételeket.

   

   

   

   Riasztásokat hozhat létre különböző metrikákhoz, például az ADF-entitások számához/méretéhez, tevékenység-/folyamat-/triggerfuttatásokhoz, Integration Runtime (IR) CPU-kihasználtsághoz/memóriához/csomópontszámhoz/üzenetsorhoz, valamint az SSIS-csomagok végrehajtásához és az SSIS integrációs modul indítási/leállítási műveleteihez.

4. Konfigurálja a riasztási logikát. Létrehozhat egy riasztást a kiválasztott metrika számára az összes folyamathoz és a kapcsolódó tevékenységekhez. Kiválaszthat egy adott tevékenységtípust, tevékenységnevet, folyamatnevet vagy hibatípust is.

   

5. E-mail-, SMS-, leküldéses és hangértesítések konfigurálása a riasztáshoz. Hozzon létre egy műveletcsoportot, vagy válasszon egy meglévőt a riasztási értesítésekhez.

   

   

6. Hozza létre a riasztási szabályt.

   

Kapcsolódó tartalom

A folyamatok monitorozásáról és kezeléséről a folyamatok figyelése és kezelése programozott módon című cikkben olvashat.