Visually monitor Azure Data Factory

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Miután létrehozott és közzétett egy folyamatot az Azure Data Factoryben, hozzárendelheti egy eseményindítóhoz, vagy manuálisan elindíthat egy alkalmi futtatást. Az Azure Data Factory felhasználói felületén natív módon figyelheti az összes folyamatfuttatást. A monitorozási felület megnyitásához válassza az Azure Portal adat-előállító paneljén található Monitorozás és kezelés csempét. Ha már az ADF UX-ben van, kattintson a bal oldali oldalsáv Figyelő ikonra.

Alapértelmezés szerint a Data Factory minden futtatása a böngésző helyi időzónája szerint jelenik meg. Ha módosítja az időzónát, minden dátum/idő mező az újonnan kiválasztott időzónának megfelelően változik.

Folyamatfuttatások monitorozása

Az alapértelmezett figyelési nézet a kiválasztott időszakban aktivált folyamatfuttatások listája. Módosíthatja az időtartamot, és szűrhet az állapot, a folyamat neve és jegyzet szerint. Mutasson az adott folyamatfuttatásra az olyan futtatási műveletek lekéréséhez, mint az újrafuttatás és a használati jelentés.

Screenshot of list view for monitoring pipeline runs.

A folyamatfuttatási rács a következő oszlopokat tartalmazza:

Oszlop neve Ismertetés
Folyamat neve A folyamat neve
Futtatás kezdete A folyamat futtatásának kezdő dátuma és időpontja (MM/DD/YYYY, HH:MM:SS AM/PM)
Futtatás vége A folyamatfuttatás záró dátuma és ideje (MM/DD/ÉÉÉÉ, Óó:MM:SS AM/PM)
Duration Futtatás időtartama (HH:MM:SS)
Kiváltó A folyamatot elindító eseményindító neve
Állapot Sikertelen, Sikeres, Folyamatban, Megszakítva vagy Várólistán
Jegyzetek Folyamathoz társított szűrhető címkék
Parameters A folyamatfuttatás paraméterei (név-érték párok)
Hiba Ha a folyamat meghiúsult, a futtatási hiba
Futtatás Eredeti, újrafuttatható vagy újrafuttatható (legújabb)
Futtatási azonosító A folyamatfuttatás azonosítója

A folyamat- és tevékenységfuttatások listájának frissítéséhez manuálisan kell kiválasztania a Frissítés gombot. Az Automatikus visszavétel jelenleg nem támogatott.

 Screenshot of refresh button.

A hibakeresési futtatás eredményeinek megtekintéséhez válassza a Hibakeresés lapot.

Screenshot of the view active debug runs icon.

Tevékenységfuttatások monitorozása

Ha részletes képet szeretne kapni egy adott folyamatfuttatás egyes tevékenységfuttatásairól, kattintson a folyamat nevére.

Screenshot of view activity runs.

A listanézet az egyes folyamatfuttatásoknak megfelelő tevékenységfuttatásokat jeleníti meg. Mutasson az adott tevékenységfuttatásra, hogy lekérje a futtatásspecifikus információkat, például a JSON-bemenetet, a JSON-kimenetet és a részletes tevékenységspecifikus figyelési szolgáltatásokat.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Oszlop neve Ismertetés
Tevékenység neve A folyamaton belüli tevékenység neve
Tevékenység típusa A tevékenység típusa, például Másolás, ExecuteDataFlow vagy AzureMLExecutePipeline
Műveletek Ikonok, amelyek lehetővé teszik a JSON bemeneti információinak, A JSON kimeneti információinak vagy a tevékenységspecifikus figyelési szolgáltatások részletes megtekintését
Futtatás kezdete A tevékenység futtatásának kezdő dátuma és időpontja (MM/DD/ÉÉÉÉ, Óó:MM:SS AM/PM)
Duration Futtatás időtartama (HH:MM:SS)
Állapot Sikertelen, Sikeres, Folyamatban vagy Megszakítva
Integration Runtime Melyik integrációs modulon futtatták a tevékenységet
Felhasználói tulajdonságok A tevékenység felhasználó által definiált tulajdonságai
Hiba Ha a tevékenység nem sikerült, a futtatási hiba
Futtatási azonosító A tevékenységfuttatás azonosítója

Ha egy tevékenység sikertelen volt, a hibaoszlopban lévő ikonra kattintva megtekintheti a részletes hibaüzenetet.

Screenshot of a notification with error details including error code, failure type, and error details.

Felhasználói tulajdonságok előléptetése monitorozáshoz

Léptesse elő bármelyik folyamatműveleti tulajdonságot felhasználói tulajdonsággá, hogy monitorozható entitássá váljon. Például előléptetheti a folyamata másolási tevékenységének Forrás és Cél tulajdonságait felhasználói tulajdonságokká.

Megjegyzés:

Felhasználói tulajdonságokként legfeljebb öt folyamattevékenység-tulajdonságot előléptethet.

Screenshot of create user properties.

A felhasználói tulajdonságok létrehozása után figyelheti őket a figyelési lista nézeteiben.

Screenshot of add columns for user properties to the activity runs list.

Ha a másolási tevékenység forrása táblanév, a tevékenységfuttatások listanézetében oszlopként figyelheti a forrástábla nevét.

Screenshot of activity runs list with columns for user properties.

Folyamatok és tevékenységek újrafuttatása

A tárolótevékenységek újrafuttatásának viselkedése a következő:

  • Wait- A tevékenység a korábbiakhoz hasonlóan fog viselkedni.
  • Set Variable - A tevékenység a korábbiakhoz hasonlóan fog viselkedni.
  • Filter - A tevékenység a korábbiakhoz hasonlóan fog viselkedni.
  • Until A tevékenység kiértékeli a kifejezést, és ciklusosan addig fut, amíg a feltétel nem teljesül. Az újrafuttatási szabályok alapján előfordulhat, hogy a benne foglalt tevékenységek így is ki lesznek hagyva.
  • Foreach A tevékenység mindig ciklusosan fut a kapott elemeken. Az újrafuttatási szabályok alapján előfordulhat, hogy a benne foglalt tevékenységek így is ki lesznek hagyva.
  • If and switch - A feltételek mindig kiértékelésre kerülnek. Minden belső tevékenység kiértékelésre kerül. Előfordulhat, hogy a belső tevékenységek továbbra is kihagyhatók az újrafuttatási szabályok alapján, de az olyan akciók, mint például a Folyamat végrehajtása újrafutnak.
  • Execute pipeline activity – A gyermekfolyamat aktiválódik, de a gyermekfolyamat összes tevékenysége továbbra is kihagyható az újrafuttatási szabályok alapján.

Ha egy korábban az elejétől futott folyamatot szeretne újrafutni, mutasson az adott folyamatfuttatásra, és válassza az Újrafuttatás lehetőséget. Ha több folyamatot jelöl ki, az Újrafuttatás gombbal futtathatja az összeset.

Screenshot of rerun a pipeline.

Ha egy adott ponttól kezdve újra szeretne futni, ezt a tevékenységfuttatási nézetből teheti meg. Válassza ki azt a tevékenységet, amelyből kiindulni szeretne, és válassza az Újrafuttatás lehetőséget a tevékenységből.

Screenshot of rerun an activity run.

Újrafuttathat egy folyamatot, és módosíthatja a paramétereket. A paraméterek módosításához válassza az Új paraméterek gombot.

Screenshot of rerun an activity run with new parameters.

Megjegyzés:

A folyamat új paraméterekkel való újrafuttatása új folyamatfuttatásnak minősül, ezért nem jelenik meg a folyamatfuttatás újrafuttatási csoportosítása alatt.

Újrafuttatás meghiúsult tevékenységből

Ha egy tevékenység meghiúsul, túllépi az időkorlátot vagy megszakítják, válassza az Újrafuttatás lehetőséget a meghiúsult tevékenységből az újrafuttatáshoz.

Screenshot of rerun failed activity.

Újrafuttatási előzmények megtekintése

Minden folyamatfuttatás újrafuttatási előzményeit megtekintheti a listanézetben.

Screenshot of view history.

Megtekintheti egy adott folyamatfuttatás újrafuttatási előzményeit is.

Screenshot of view history for a pipeline run.

Használat monitorozása

A folyamatfuttatás által felhasznált erőforrásokat a futtatás melletti használat ikonra kattintva tekintheti meg.

Screenshot that shows where you can see the resources consumed by a pipeline.

Az ikonra kattintva megnyílik a folyamatfuttatás által használt erőforrások használati jelentése.

Screenshot of monitor consumption.

Ezeket az értékeket csatlakoztathatja az Azure díjkalkulátorához a folyamatfuttatás költségeinek becsléséhez. Az Azure Data Factory díjszabásáról további információt a díjszabás ismertetése című témakörben talál.

Megjegyzés:

A díjkalkulátor által visszaadott értékek becslésnek számítanak. Nem tükrözi az Azure Data Factory által számlázott összeget

Gantt-nézetek

A Gantt-diagram egy olyan nézet, amellyel megtekintheti a futtatási előzményeket egy adott időintervallumra vonatkozóan. Ha egy Gantt-nézetre vált, az összes folyamatot név szerint csoportosítva láthatja, és az oszlopuk mérete arányos a futtatásuk időtartamával. Csoportosíthatja a folyamaton létrehozott széljegyzetek/címkék szerint is. A Gantt-nézet a tevékenységfuttatási szinten is elérhető.

Screenshot of an example of a Gantt chart.

A sáv hossza tájékoztatja a folyamat időtartamát. A további részletek megtekintéséhez a sávot is kijelölheti.

Screenshot of a Gantt chart duration.

Riasztások

A Data Factoryben egyes támogatott metrikákra vonatkozó riasztásokat hozhat létre. Első lépésként válassza a Riasztások figyelése>> metrika lehetőséget a Data Factory monitorozási oldalán.

Screenshot of the Data factory Monitor page.

A funkció hétperces bemutatásához és bemutatásához tekintse meg az alábbi videót:

Riasztások létrehozása

  1. Új riasztás létrehozásához válassza az Új riasztási szabály lehetőséget.

    Screenshot of New Alert Rule button.

  2. Adja meg a szabály nevét, és válassza ki a riasztás súlyosságát.

    Screenshot of boxes for rule name and severity.

  3. Válassza ki a riasztási feltételeket.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Riasztásokat hozhat létre különböző metrikákhoz, például az ADF-entitások számához/méretéhez, tevékenység-/folyamat-/triggerfuttatásokhoz, integrációs modul (IR) CPU-kihasználtságához/memóriájához/csomópontszámához/üzenetsorához, valamint az SSIS-csomagok végrehajtásához és az SSIS integrációs modul indítási/leállítási műveleteihez.

  4. Konfigurálja a riasztási logikát. Létrehozhat egy riasztást a kiválasztott metrika számára az összes folyamathoz és a kapcsolódó tevékenységekhez. Kiválaszthat egy adott tevékenységtípust, tevékenységnevet, folyamatnevet vagy hibatípust is.

    Screenshot of options for configuring alert logic.

  5. E-mail-, SMS-, leküldéses és hangértesítések konfigurálása a riasztáshoz. Hozzon létre egy műveletcsoportot, vagy válasszon egy meglévőt a riasztási értesítésekhez.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Hozza létre a riasztási szabályt.

    Screenshot of options for creating an alert rule.

A folyamatok monitorozásáról és kezeléséről a folyamatok figyelése és kezelése programozott módon című cikkben olvashat.