Vizuální monitorování služby Azure Data Factory

Článek
01/05/2024

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Jakmile vytvoříte a publikujete kanál ve službě Azure Data Factory, můžete ho přidružit k triggeru nebo ručně spustit ad hoc spuštění. Všechny vaše kanály můžete monitorovat nativně v uživatelském prostředí služby Azure Data Factory. Pokud chcete otevřít prostředí monitorování, vyberte dlaždici Monitorování a správa v okně datové továrny na webu Azure Portal. Pokud už jste v uživatelském prostředí ADF, klikněte na ikonu Monitorování na levém bočním panelu.

Ve výchozím nastavení se všechny spuštěné kanály datové továrny zobrazují v místním časovém pásmu prohlížeče. Pokud časové pásmo změníte, přepnou se všechna pole data a času do vybraného časového pásma.

Monitorování spuštění kanálu

Výchozí zobrazení monitorování je seznam aktivovaných spuštění kanálu ve vybraném časovém období. Můžete změnit časový rozsah a filtrovat kanály podle stavu, názvu nebo poznámky. Najeďte myší na konkrétní spuštění kanálu, abyste získali akce specifické pro spuštění, jako je opětovné spuštění a sestava spotřeby.

Screenshot of list view for monitoring pipeline runs.

Mřížka spuštění kanálu obsahuje následující sloupce:

Název sloupce	Popis
Název kanálu	Název kanálu
Začátek spuštění	Počáteční datum a čas spuštění kanálu (MM/DD/YYYY, HH:MM:SS AM/PM)
Spustit konec	Koncové datum a čas spuštění kanálu (MM/DD/YYYY, HH:MM:SS/PM)
Doba trvání	Doba trvání spuštění (HH:MM:SS)
Aktivoval	Název triggeru, který spustil kanál
Stav	Neúspěšné, úspěšné, probíhající, zrušené nebo zařazené do fronty
Poznámky	Filtrovatelné značky přidružené ke kanálu
Parametry	Parametry spuštění kanálu (páry name/value)
Chyba	Pokud kanál selhal, chyba spuštění
Spustit	Původní, znovu spustit nebo spustit znovu (nejnovější)
ID spuštění	ID spuštění kanálu

Pokud chcete aktualizovat seznam spuštění kanálu a aktivit, musíte ručně vybrat tlačítko Aktualizovat . Autorefresh se v současné době nepodporuje.

Screenshot of refresh button.

Pokud chcete zobrazit výsledky spuštění ladění, vyberte kartu Ladění .

Screenshot of the view active debug runs icon.

Monitorování spuštění aktivit

Pokud chcete získat podrobné zobrazení jednotlivých spuštění aktivit konkrétního spuštění kanálu, klikněte na název kanálu.

Screenshot of view activity runs.

Zobrazení seznamu zobrazuje spuštění aktivit, která odpovídají každému spuštění kanálu. Najeďte myší na konkrétní spuštění aktivity a získejte informace specifické pro spuštění, jako je vstup JSON, výstup JSON a podrobné prostředí pro monitorování specifické pro aktivity.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Název sloupce	Popis
Název aktivity	Název aktivity uvnitř kanálu
Typ aktivity	Typ aktivity, například Copy, ExecuteDataFlow nebo AzureMLExecutePipeline
Akce	Ikony, které umožňují zobrazit vstupní informace JSON, výstupní informace JSON nebo podrobné prostředí pro monitorování specifické pro aktivity
Začátek spuštění	Počáteční datum a čas spuštění aktivity (MM/DD/YYYY, HH:MM:SS AM/PM)
Doba trvání	Doba trvání spuštění (HH:MM:SS)
Stav	Neúspěšné, úspěšné, probíhající nebo zrušené
Integration Runtime	Na kterém prostředí Integration Runtime se aktivita spustila
Vlastnosti uživatele	Uživatelem definované vlastnosti aktivity
Chyba	Pokud aktivita selhala, chyba spuštění
ID spuštění	ID spuštění aktivity

Pokud aktivita selhala, zobrazí se podrobná chybová zpráva kliknutím na ikonu ve sloupci chyby.

Screenshot of a notification with error details including error code, failure type, and error details.

Zvýšení uživatelských vlastností kvůli monitorování

Když zvýšíte úroveň vlastnosti aktivity kanálu, aby se z ní stala uživatelská vlastnost, stane se z ní také monitorovaná entita. V kanálu můžete například zvýšit u kopírování úroveň vlastností Zdroj a Cíl, aby se z nich staly uživatelské vlastnosti.

Poznámka:

Jako vlastnosti uživatele můžete zvýšit úroveň až pěti vlastností aktivity kanálu.

Screenshot of create user properties.

Po vytvoření vlastností uživatele je můžete monitorovat v zobrazeních seznamu monitorování.

Screenshot of add columns for user properties to the activity runs list.

Pokud je zdrojem aktivity kopírování název tabulky, můžete název zdrojové tabulky monitorovat jako sloupec v zobrazení seznamu pro spuštění aktivit.

Screenshot of activity runs list with columns for user properties.

Opakované spuštění kanálů a aktivit

Chování opětovného spuštění aktivit kontejneru je následující:

Wait– Aktivita se bude chovat jako předtím.
Set Variable – Aktivita se bude chovat jako předtím.
Filter – Aktivita se bude chovat jako předtím.
Until – Aktivita vyhodnotí výraz a bude se ve smyčce opakovat, dokud se nesplní podmínky. Vnitřní aktivity se přesto v závislosti na pravidlech opětovného spuštění můžou přeskočit.
Foreach – Aktivita bude vždy procházet ve smyčce položky, které obdrží. Vnitřní aktivity se přesto v závislosti na pravidlech opětovného spuštění můžou přeskočit.
If and switch – Podmínky budou vždy vyhodnoceny. Vyhodnotí se všechny vnitřní aktivity. Vnitřní aktivity se stále můžou přeskočit na základě pravidel opětovného spuštění, ale města, jako je spuštění kanálu spuštění, se znovu spustí.
Execute pipeline activity – Aktivuje se podřízený kanál, ale všechny aktivity v podřízené kanálu se můžou na základě pravidel opětovného spuštění přeskočit.

Pokud chcete znovu spustit kanál, který už byl spuštěn od začátku, najeďte myší na konkrétní spuštění kanálu a vyberte Spustit znovu. Pokud vyberete více kanálů, můžete je spustit pomocí tlačítka Znovu spustit.

Screenshot of rerun a pipeline.

Pokud chcete spustit znovu od určitého bodu, můžete to udělat v zobrazení spuštění aktivit. Vyberte aktivitu, od které chcete začít, a vyberte Spustit znovu z aktivity.

Screenshot of rerun an activity run.

Můžete také znovu spustit kanál a změnit parametry. Pokud chcete změnit parametry, vyberte tlačítko Nové parametry.

Screenshot of rerun an activity run with new parameters.

Poznámka:

Opětovné spuštění kanálu s novými parametry bude považováno za nové spuštění kanálu, takže se v rámci opětovného spuštění pro spuštění kanálu nezobrazí.

Opětovné spuštění neúspěšné aktivity

Pokud aktivita selže, vyprší její časový limit nebo je zrušena, můžete kanál neúspěšné aktivity spustit znovu tím, že u neúspěšné aktivity vyberete Spustit znovu.

Screenshot of rerun failed activity.

Zobrazení historie opětovných spuštění

U všech spuštění kanálu v seznamu si můžete zobrazit historii opětovných spuštění.

Screenshot of view history.

Můžete také zobrazit historii opětovného spuštění konkrétního spuštění kanálu.

Screenshot of view history for a pipeline run.

Monitorování využití úložiště

Prostředky spotřebované spuštěním kanálu můžete zobrazit kliknutím na ikonu consumption vedle spuštění.

Screenshot that shows where you can see the resources consumed by a pipeline.

Kliknutím na ikonu se otevře sestava spotřeby prostředků používaných spuštěním kanálu.

Screenshot of monitor consumption.

Tyto hodnoty můžete připojit do cenové kalkulačky Azure a odhadnout tak náklady na spuštění kanálu. Další informace o cenách služby Azure Data Factory najdete v tématu Vysvětlení cen.

Poznámka:

Tyto hodnoty vrácené cenovou kalkulačkou jsou odhadem. Neodráží přesnou částku, kterou vám bude služba Azure Data Factory účtovat.

Zobrazení Ganttova diagramu

V Ganttově diagramu si můžete prohlédnout historii spuštění v určitém časovém rozsahu. Pokud přepnete na Ganttův diagram, zobrazí se všechna spuštění kanálu seskupená podle názvu jako pruhy o relativní délce, která odpovídá době spuštění. Můžete také seskupit podle poznámek nebo značek, které jste vytvořili v kanálu. Ganttův diagram je také k dispozici na úrovni spuštění aktivit.

Screenshot of an example of a Gantt chart.

Délka pruhu informuje dobu trvání kanálu. Pokud chcete zobrazit další podrobnosti, můžete také vybrat panel.

Screenshot of a Gantt chart duration.

Výstrahy

U podporovaných metrik služby Data Factory můžete generovat upozornění. Začněte výběrem možnosti Monitorovat>výstrahy a metriky na stránce monitorování služby Data Factory.

Screenshot of the Data factory Monitor page.

V sedmiminutovém úvodu a ukázce této funkce se podívejte na následující video:

Vytváření výstrah

Vyberte Nové pravidlo upozornění a vytvořte novou výstrahu.
Zadejte název pravidla a vyberte závažnost upozornění.
Vyberte kritéria upozornění.

Můžete vytvářet výstrahy na různé metriky, včetně metrik pro počet entit ADF, spuštění aktivit, kanálu nebo triggeru, využití procesoru prostředí Integration Runtime (IR), využití procesoru, paměti, počtu uzlů nebo fronty, stejně jako pro spouštění balíčků SSIS a operace spuštění/zastavení prostředí SSIS IR.
Nakonfigurujte logiku upozornění. Pro vybranou metriku můžete vytvořit upozornění pro všechny kanály a odpovídající aktivity. Můžete také vybrat konkrétní typ aktivity, název aktivity, název kanálu nebo typ selhání.
Nakonfigurujte pro upozornění e-mail, SMS, nabízená oznámení a hlasová oznámení. Vytvořte skupinu akcí nebo zvolte existující pro oznámení výstrahy.
Vytvořte pravidlo upozornění.