Vizuální monitorování Azure Data Factory

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

• Začněte bezplatnou zkušební verzi Fabric.
• Upgrade z Azure Data Factory do služby Data Factory v Microsoft Fabric

Jakmile vytvoříte a publikujete datový tok v Azure Data Factory, můžete ho přidružit k spouštěči nebo ručně spustit ad hoc běh. Všechny vaše kanály můžete monitorovat nativně v uživatelském prostředí Azure Data Factory. Pokud chcete otevřít prostředí monitorování, vyberte dlaždici Monitor & Spravovat na panelu služby datové továrny v portálu Azure. Pokud už jste v uživatelském prostředí ADF, klikněte na ikonu Monitorování na levém bočním panelu.

Ve výchozím nastavení se všechny běhy datové továrny zobrazují v místním časovém pásmu prohlížeče. Pokud změníte časové pásmo, všechna pole data a času se přichytí k vybranému časovému pásmu.

Monitorování spuštění kanálu

Výchozí zobrazení monitorování je seznam aktivovaných spuštění kanálu ve vybraném časovém období. Můžete změnit časový rozsah a filtrovat kanály podle stavu, názvu nebo poznámky. Najeďte myší na konkrétní spuštění kanálu, abyste získali akce specifické pro spuštění, jako je opětovné spuštění a sestava spotřeby.

Mřížka běhu potrubí obsahuje následující sloupce:

Název sloupce	Description
Název kanálu	Název kanálu
Spustit program	Počáteční datum a čas spuštění kanálu (MM/DD/YYYY, HH:MM:SS AM/PM)
Konec spuštění	Koncové datum a čas pro provoz kanálu (MM/DD/YYYY, HH:MM:SS AM/PM)
Doba trvání	Doba běhu (HH:MM:SS)
Aktivoval(a)	Název triggeru, který spustil pipelinu
Status	Selhalo, Úspěšné, Probíhající, Zrušeno, nebo Ve frontě
Anotace	Značky, které lze filtrovat, přidružené k pipelině
Parametry	Parametry spuštění potrubí (páry název/hodnota)
Chyba	Pokud došlo k chybě v potrubí, objeví se chyba při spuštění.
Run	Původní, znovu spustit nebo spustit znovu (nejnovější)
ID spuštění	ID spuštění kanálu

Pokud chcete aktualizovat seznam spuštění pipeline a aktivit, musíte ručně vybrat tlačítko Aktualizovat. Autorefresh se v současné době nepodporuje.

Chcete-li zobrazit výsledky spuštění ladění, vyberte kartu Ladění.

Monitorování spuštění aktivit

Pokud chcete získat podrobné zobrazení jednotlivých spuštění aktivit konkrétního spuštění datového toku, klikněte na název datového toku.

Zobrazení seznamu ukazuje průběhy aktivit, které odpovídají každému spuštění datového toku. Najeďte myší na konkrétní spuštění aktivity a získejte informace specifické pro spuštění, jako je vstup JSON, výstup JSON a podrobné prostředí pro monitorování specifické pro aktivity.

Název sloupce	Description
Název aktivity	Název aktivity uvnitř kanálu
Typ aktivity	Typ aktivity, například Copy, ExecuteDataFlow nebo AzureMLExecutePipeline
Akce	Ikony, které umožňují zobrazit vstupní informace JSON, výstupní informace JSON nebo podrobné prostředí pro monitorování specifické pro aktivity
Spustit program	Počáteční datum a čas spuštění aktivity (MM/DD/YYYY, HH:MM:SS AM/PM)
Doba trvání	Doba běhu (HH:MM:SS)
Status	Neúspěšný, Úspěšný, Probíhající nebo Zrušené
Integration Runtime	Na kterém Integration Runtime byla aktivita spuštěna
Vlastnosti uživatele	Uživatelem definované vlastnosti aktivity
Chyba	Pokud aktivita selhala, došlo k chybě spuštění
ID spuštění	ID spuštění aktivity

Pokud aktivita selhala, zobrazí se podrobná chybová zpráva kliknutím na ikonu ve sloupci chyby.

Zvýšení uživatelských vlastností kvůli monitorování

Když zvýšíte úroveň vlastnosti aktivity kanálu, aby se z ní stala uživatelská vlastnost, stane se z ní také monitorovaná entita. V kanálu můžete například označit vlastnosti kopírovací aktivity Zdroj a Cíl jako uživatelské vlastnosti.

Poznámka

Jako vlastnosti uživatele můžete nastavit až pět vlastností aktivity kanálu.

Po vytvoření vlastností uživatele je můžete monitorovat v zobrazeních seznamu monitorování.

Pokud je zdrojem aktivity kopírování název tabulky, můžete název zdrojové tabulky monitorovat jako sloupec v zobrazení seznamu pro spuštění aktivit.

Opakované spuštění kanálů a aktivit

Chování opětovného spuštění aktivit kontejneru je následující:

• Wait– Aktivita se bude chovat jako předtím.
• Set Variable – Aktivita se bude chovat jako předtím.
• Filter – Aktivita se bude chovat jako předtím.
• Until Aktivita vyhodnotí výraz a bude pokračovat ve smyčce, dokud podmínka nebude splněna. Vnitřní aktivity se mohou stále vynechat podle pravidel opětovného spuštění.
• Foreach Aktivita bude vždy opakovat položky, které obdrží. Vnitřní aktivity se mohou stále vynechat podle pravidel opětovného spuštění.
• If and switch – Podmínky budou vždy vyhodnoceny. Vyhodnotí se všechny vnitřní aktivity. Vnitřní aktivity se stále můžou přeskočit na základě pravidel opětovného spuštění, ale aktivity, jako je spuštění kanálu, budou znovu spuštěny.
• Execute pipeline activity – Aktivuje se podřízený kanál, ale všechny aktivity v podřízené kanálu se můžou na základě pravidel opětovného spuštění přeskočit.

Pokud chcete znovu spustit kanál, který už byl spuštěn od začátku, najeďte myší na konkrétní spuštění kanálu a vyberte Spustit znovu. Pokud vyberete více pipelinek, můžete je spustit pomocí tlačítka Rerun.

Pokud chcete znovu spustit začít od konkrétního bodu, můžete to provést v zobrazení běhů aktivit. Vyberte aktivitu, od které chcete začít, a vyberte Spustit znovu z aktivity.

Můžete také znovu spustit kanál a změnit parametry. Pokud chcete změnit parametry, vyberte tlačítko Nové parametry .

Poznámka

Opětovné spuštění pipeline s novými parametry bude považováno za nové spuštění, a proto se nezobrazí ve skupinách opětovných spuštění pro danou pipeline.

Opětovné spuštění neúspěšné aktivity

Pokud aktivita selže, vyprší časový limit nebo je zrušená, můžete kanál z této neúspěšné aktivity spustit znovu výběrem možnosti Znovu spustit z neúspěšné aktivity.

Zobrazení historie opětovných spuštění

U všech běhů pipeline v zobrazení seznamu si můžete zobrazit historii opětovných spuštění.

Můžete také zobrazit historii znovuspouštění konkrétního spuštění pipeline.

Monitorování spotřeby

Prostředky spotřebované spuštěním potrubí můžete zobrazit kliknutím na ikonu spotřeby vedle spuštění.

Kliknutím na ikonu se otevře zpráva o spotřebě prostředků spotřebovaných tímto spuštěním kanálu.

Tyto hodnoty můžete připojit do cenové kalkulačky Azure a odhadnout náklady na spuštění kanálu. Další informace o cenách Azure Data Factory najdete v tématu Podstatné ceny.

Poznámka

Tyto hodnoty vrácené cenovou kalkulačkou jsou odhadem. Neodráží přesnou částku, kterou vám bude fakturovat Azure Data Factory

Ganttova zobrazení

Ganttův diagram je zobrazení, které vám umožňuje vidět historii spuštění v určitém časovém rozsahu. Když přepnete do zobrazení Ganttova diagramu, uvidíte všechny běhy pipeline seskupené podle názvu, znázorněné jako sloupce vzhledem k tomu, jak dlouho tento běh trval. Můžete také seskupit podle poznámek a/nebo značek, které jste vytvořili ve vaší pipeline. Ganttův diagram je také k dispozici na úrovni spuštění aktivit.

Délka pruhu informuje dobu trvání kanálu. Pokud chcete zobrazit další podrobnosti, můžete také vybrat panel.

Upozornění

U podporovaných metrik služby Data Factory můžete generovat upozornění. Začněte výběrem možnosti Monitorovat>výstrahy a metriky na stránce monitorování služby Data Factory.

V sedmiminutovém úvodu a ukázce této funkce se podívejte na následující video:

Vytváření upozornění

1. Vyberte Nové pravidlo upozornění a vytvořte novou výstrahu.

   

2. Zadejte název pravidla a vyberte závažnost upozornění.

   

3. Vyberte kritéria upozornění.

   

   

   

   Můžete vytvářet upozornění na různé metriky, včetně těch pro počet/velikost entit ADF, spuštění aktivit/potrubí/spouštěče, využití CPU, paměti, počet uzlů nebo frontu Integration Runtime (IR), stejně jako pro spouštění balíčků SSIS a operace spuštění/zastavení SSIS IR.

4. Nakonfigurujte logiku upozornění. Pro vybranou metriku můžete vytvořit upozornění pro všechny kanály a odpovídající aktivity. Můžete také vybrat konkrétní typ aktivity, název aktivity, název kanálu nebo typ selhání.

   

5. Nakonfigurujte pro upozornění e-mail, SMS, nabízená oznámení a hlasová oznámení. Vytvořte skupinu akcí nebo zvolte existující pro oznámení výstrahy.

   

   

6. Vytvořte pravidlo upozornění.

   

Související obsah

Informace o monitorování a správě kanálů najdete v článku Monitorování a správa kanálů prostřednictvím kódu programu .