Azure Data Factory-folyamatok monitorozása

  • 7 perc

Miután létrehozott és közzétett egy folyamatot az Azure Data Factoryben, hozzárendelheti egy eseményindítóhoz, vagy manuálisan elindíthat egy igény szerinti futtatást. Az Azure Data Factory felhasználói felületén natív módon figyelheti az összes folyamatfuttatást. A monitorozási felület megnyitásához válassza az Azure Portal adat-előállító paneljén található Monitorozás és kezelés csempét. Ha már az Azure Data Factory UX-ben van, kattintson a bal oldali oldalsáv Monitor ikonjára.

Folyamatfuttatások monitorozása

Az alapértelmezett figyelési nézet a kiválasztott időszakban aktivált folyamatfuttatások listája. Módosíthatja az időtartamot, és szűrhet az állapot, a folyamat neve és jegyzet szerint. Mutasson az adott folyamatfuttatásra az olyan futtatási műveletek lekéréséhez, mint az újrafuttatás és a használati jelentés.

List view for monitoring pipeline runs

A folyamatfuttatási rács a következő oszlopokat tartalmazza:

Oszlop neve Ismertetés
Folyamat neve A folyamat neve
Futtatás kezdete A folyamat futtatásának kezdő dátuma és időpontja (MM/DD/YYYY, HH:MM:SS AM/PM)
Futtatás vége A folyamatfuttatás záró dátuma és ideje (MM/DD/ÉÉÉÉ, Óó:MM:SS AM/PM)
Duration Futtatás időtartama (HH:MM:SS)
Kiváltó A folyamatot elindító eseményindító neve
Állapot Sikertelen, Sikeres, Folyamatban, Megszakítva vagy Várólistán
Jegyzetek Folyamathoz társított szűrhető címkék
Parameters A folyamatfuttatás paraméterei (név-érték párok)
Hiba Ha a folyamat meghiúsult, a futtatási hiba
Futtatási azonosító A folyamatfuttatás azonosítója

A folyamat- és tevékenységfuttatások listájának frissítéséhez manuálisan kell kiválasztania a Frissítés gombot. Az Automatikus visszavétel jelenleg nem támogatott.

Refresh button

A hibakeresési futtatás eredményeinek megtekintéséhez válassza a Hibakeresés lapot.

Select the View active debug runs icon

Tevékenységfuttatások monitorozása

Ha részletes képet szeretne kapni egy adott folyamatfuttatás egyes tevékenységfuttatásairól, kattintson a folyamat nevére.

View activity runs

A listanézet az egyes folyamatfuttatásoknak megfelelő tevékenységfuttatásokat jeleníti meg. Mutasson az adott tevékenységfuttatásra, hogy lekérje a futtatásspecifikus információkat, például a JSON-bemenetet, a JSON-kimenetet és a részletes tevékenységspecifikus figyelési szolgáltatásokat. Az olyan tevékenységek, mint az adatfolyam, a másolás és az Azure Databricks dedikált nézete, amely a szemüveg ikonra kattintva látható.

View the activity runs in the monitoring tool

Oszlop neve Ismertetés
Tevékenység neve A folyamaton belüli tevékenység neve
Tevékenység típusa A tevékenység típusa, például Másolás, ExecuteDataFlow vagy AzureMLExecutePipeline
Műveletek Ikonok, amelyek lehetővé teszik a JSON bemeneti információinak, A JSON kimeneti információinak vagy a tevékenységspecifikus figyelési szolgáltatások részletes megtekintését
Futtatás kezdete A tevékenység futtatásának kezdő dátuma és időpontja (MM/DD/ÉÉÉÉ, Óó:MM:SS AM/PM)
Duration Futtatás időtartama (HH:MM:SS)
Állapot Sikertelen, Sikeres, Folyamatban vagy Megszakítva
Integration Runtime Melyik integrációs modulon futtatták a tevékenységet
Felhasználói tulajdonságok A tevékenység felhasználó által definiált tulajdonságai
Hiba Ha a tevékenység nem sikerült, a futtatási hiba
Futtatási azonosító A tevékenységfuttatás azonosítója

Ha egy tevékenység sikertelen volt, a hibaoszlopban lévő ikonra kattintva megtekintheti a részletes hibaüzenetet.

Viewing activity run errors

Gantt nézet

A Gantt-diagram egy olyan nézet, amellyel megtekintheti a futtatási előzményeket egy adott időintervallumra vonatkozóan. Ha egy Gantt-nézetre vált, az összes folyamatot név szerint csoportosítva láthatja, és az oszlopuk mérete arányos a futtatásuk időtartamával. Csoportosíthatja a folyamaton létrehozott széljegyzetek/címkék szerint is. A Gantt-nézet a tevékenységfuttatási szinten is elérhető.

Example of a Gantt chart

A sáv hossza tájékoztatja a folyamat időtartamát. A további részletek megtekintéséhez a sávot is kijelölheti.

Gantt chart duration

Adatfolyam-hibakeresési munkamenetek monitorozása

Az adatfolyamok leképezése lehetővé teszi, hogy kód nélküli, nagy léptékben futó adatátalakítási logikát hozzon létre. A logika létrehozásakor bekapcsolhat egy hibakeresési munkamenetet, hogy interaktívan működjön együtt az adatokkal egy élő Spark-fürt használatával.

Az aktív adatfolyam-hibakeresési munkameneteket a monitorozási felületen követheti nyomon egy gyárban.

View data flow debug sessions

Irányítópultok figyelése

A folyamat, a tevékenység és az eseményindító futtatásának magas szintű vizuális megjelenítéséhez nyissa meg az Irányítópultok panelt. Itt láthatja a sikerek és hibák számát egy adott időszakban.

reading the monitor dashboard

Megfigyelés az Azure Monitor használatával

Az Azure Monitor alapszintű infrastruktúra-metrikákat és naplókat biztosít a legtöbb Azure-szolgáltatáshoz. Azure diagnostic logs are emitted by a resource and provide rich, frequent data about the operation of that resource. Az Azure Data Factory (ADF) diagnosztikai naplókat írhat az Azure Monitorban.

A Data Factory csak 45 napig tárolja a folyamatalapú adatokat. Ha hosszabb ideig szeretné megőrizni ezeket az adatokat, használja az Azure Monitort. A Monitorral a diagnosztikai naplókat több különböző célhoz is átirányíthatja elemzésre.

  • Tárfiók: Mentse a diagnosztikai naplókat egy tárfiókba naplózás vagy manuális ellenőrzés céljából. A diagnosztikai beállítások használatával napok alatt megadhatja a megőrzési időt.
  • Event Hub: A naplók streamelése az Azure Event Hubsba. A naplók egy partnerszolgáltatás/egyéni elemzési megoldás, például a Power BI bemenetévé válnak.
  • Log Analytics: A naplók elemzése a Log Analytics használatával. A Data Factory és az Azure Monitor integrációja az alábbi esetekben hasznos:
    • Összetett lekérdezéseket szeretne írni a Data Factory által a Monitor számára közzétett metrikák gazdag halmazára. Ezeken a lekérdezéseken a Monitor használatával egyéni riasztásokat hozhat létre.
    • Az adat-előállítók közötti monitorozást szeretné elvégezni. Több adat-előállító adatait egyetlen Monitor-munkaterületre irányíthatja.

Olyan tárfiókot vagy eseményközpont-névteret is használhat, amely nem szerepel a naplókat kibocsátó erőforrás előfizetésében. A beállítást konfiguráló felhasználónak megfelelő Azure-szerepköralapú hozzáférés-vezérlési (Azure RBAC) hozzáféréssel kell rendelkeznie mindkét előfizetéshez.

Diagnosztikai beállítások és munkaterület konfigurálása

Diagnosztikai beállítások létrehozása vagy hozzáadása az adat-előállítóhoz.

  1. A portálon lépjen a Figyelés elemre. Válassza a Gépház> Diagnosztikus beállításokat.

  2. Válassza ki azt az adat-előállítót, amelyhez diagnosztikai beállítást szeretne beállítani.

  3. Ha a kiválasztott adat-előállítóban nincsenek beállítások, a rendszer kérni fogja, hogy hozzon létre egy beállítást. Válassza a Diagnosztika bekapcsolása lehetőséget.

Create a diagnostic setting if no settings exist

Ha az adat-előállítóban vannak meglévő beállítások, megjelenik a data factoryban már konfigurált beállítások listája. Select Add diagnostic setting.

Add a diagnostic setting if settings exist

  1. Adjon nevet a beállításnak, válassza a Küldés a Log Analyticsbe lehetőséget, majd válasszon egy munkaterületet a Log Analytics-munkaterületről.

    • Az Azure-Diagnostics módban a diagnosztikai naplók az AzureDiagnostics táblába kerülnek .

    • Erőforrás-specifikus módban az Azure Data Factory diagnosztikai naplói a következő táblákba kerülnek:

      • ADFActivityRun
      • ADFPipelineRun
      • ADFTriggerRun
      • ADFSSISIntegrationRuntimeLogs
      • ADFSSISPackageEventMessageContext
      • ADFSSISPackageEventMessages
      • ADFSSISPackageExecutableStatistics
      • ADFSSISPackageExecutionComponentPhases
      • ADFSSISPackageExecutionDataStatistics

      A számítási feladatokhoz kapcsolódó különböző naplókat kiválaszthatja a Log Analytics-táblákba való küldéshez. Ha például egyáltalán nem használja az SQL Server Integration Servicest (SSIS), akkor nem kell SSIS-naplókat választania. Ha az SSIS integrációs modul (IR) indítási/leállási/karbantartási műveleteit szeretné naplózni, kiválaszthatja az SSIS INTEGRÁCIÓS naplóit. Ha SSIS-csomagvégrehajtásokat hív meg az SQL Server Management Studio (SSMS), az SQL Server Agent vagy más kijelölt eszközök T-SQL-en keresztül, kiválaszthatja az SSIS-csomagnaplókat. Ha SSIS-csomagvégrehajtásokat hív meg SSIS-csomagtevékenységek végrehajtásával az ADF-folyamatokban, az összes naplót kiválaszthatja.

    • Ha az AllMetrics lehetőséget választja, a rendszer különböző Azure Data Factory-metrikákat fog elérhetővé tenni a riasztások figyeléséhez vagy riasztások indításához, beleértve az Azure Data Factory-tevékenységek, folyamatok és triggerfuttatások mérőszámait, valamint az SSIS IR-műveletek és az SSIS-csomagok végrehajtásának metrikáit.

Name your settings and select a log-analytics workspace

> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.
  1. Válassza a Mentés parancsot.

Néhány pillanat múlva az új beállítás megjelenik az adat-előállító beállításainak listájában. A diagnosztikai naplók az új eseményadatok létrehozásakor azonnal át lesznek streamelve a munkaterületre. Egy esemény kibocsátása és a Log Analyticsben való megjelenése között akár 15 perc is eltelt.