Monitorování kanálů v uživatelském rozhraní

Sledujte deklarativní kanály Lakeflow Spark v uživatelském rozhraní Azure Databricks, abyste mohli sledovat průběh aktualizací, nastavovat upozornění na události kanálu a zobrazovat metriky streamovacích zdrojů. Tyto předdefinované funkce podporují například tyto úlohy:

• Sledování průběhu a stavu aktualizací potrubí. Podívejte se na podrobnosti kanálu, které jsou k dispozici na stránce monitorování.
• Upozornění na události v kanálu, jako je úspěch nebo neúspěch aktualizací kanálu. Viz Přidejte e-mailová oznámení o událostech pipeline.
• Zobrazení metrik pro streamované zdroje, jako jsou Apache Kafka a Auto Loader (Public Preview). Viz Zobrazit metriky streamování.

Přidejte e-mailová oznámení pro události pipeline

Můžete nakonfigurovat jednu nebo více e-mailových adres pro příjem oznámení, když dojde k následujícímu:

• Aktualizace pipeline byla úspěšně provedena.
• Aktualizace pipeline selže, buď s chybou, kterou lze opakovat, nebo s chybou, kterou nelze opakovat. Tuto možnost vyberte, pokud chcete dostávat oznámení o všech selháních kanálu.
• Aktualizace potrubí selže s neopravitelnou (fatální) chybou. Tuto možnost vyberte, pokud chcete dostávat oznámení pouze v případě, že dojde k neopakovatelné chybě.
• Jeden datový tok selže.

Pokud chcete nakonfigurovat e-mailová oznámení, upravte nastavení kanálu. Viz Oznámení.

Poznámka:

Vytvářejte vlastní odpovědi na události, včetně oznámení nebo vlastního zpracování, pomocí hooků událostí Pythonu.

Zobrazit pipeliney v uživatelském rozhraní

Najděte svůj kanál z Možnost Úlohy a kanály na bočním panelu pracovního prostoru Otevře se stránka Úlohy a kanály , kde můžete zobrazit informace o jednotlivých úlohách a kanálu, ke kterým máte přístup. Kliknutím na název kanálu otevřete stránku monitorování kanálu. Pokud chcete upravit úlohu nebo proces, klikněte na a zvolte Upravit.

Poznámka:

Úlohy a různé typy potrubí mají různé editory. Možnost Upravit otevře správný editor pro vybraný objekt.

Použijte seznam úloh a pipeline

Pokud chcete zobrazit seznam kanálů, ke kterým máte přístup, klikněte na Úlohy a kanály na bočním panelu Na kartě Úlohy a kanály jsou uvedeny informace o všech dostupných úlohách a kanálech, jako je tvůrce, trigger (pokud existuje) a výsledek posledních pěti spuštění.

Kliknutím na název kanálu nebo úlohy přejdete na stránku monitorování pro daný kanál nebo úlohu. Pokud chcete upravit kanál nebo úlohu, klikněte na , pak vyberte Upravit.

Chcete-li změnit sloupce zobrazené v seznamu, klikněte na a vyberte nebo zrušte výběr sloupců. Pokud chcete například přidat Pipeline Type jako sloupec, vyberte tento sloupec k zobrazení.

Úlohy můžete filtrovat v seznamu Úlohy a kanály , jak je znázorněno na následujícím snímku obrazovky.

1. Hledání textu: Hledání klíčových slov je podporováno pro pole Název a ID . Pokud chcete vyhledat značku vytvořenou pomocí klíče a hodnoty, můžete hledat podle klíče, hodnoty nebo klíče i hodnoty. Například pro značku s klíčem department a hodnotou finance můžete vyhledat department nebo finance, abyste našli odpovídající úlohy. Pokud chcete hledat podle klíče a hodnoty, zadejte klíč a hodnotu oddělenou dvojtečku (například department:finance).
2. Typ: filtrovat podle úloh, procesů, nebo všech. Pokud vyberete Kanály , můžete také filtrovat podle typu kanálu, který zahrnuje kanály ETL a Příjem dat.
3. Vlastník: Zobrazí jenom úlohy, které vlastníte.
4. Oblíbené: zobrazí úlohy, které jste označili jako oblíbené.
5. Značky: Používejte značky. Pokud chcete hledat podle značky, můžete použít rozevírací nabídku značek k filtrování až pěti značek najednou nebo přímo použít vyhledávání klíčových slov.
6. Spustit jako: Filtrovat podle až dvou run as hodnot.

Pokud chcete spustit úlohu nebo proces, klikněte na ikonu . Pokud chcete zastavit úlohu nebo kanál, klikněte na tlačítko ikonu zastavení. Pokud chcete získat přístup k dalším akcím, klikněte na Můžete například upravit nebo odstranit úlohu nebo kanál, nebo přistupovat k nastavení pipeline z této nabídky.

Podrobnosti o kanálu dostupné na stránce monitorování

Poznámka:

Seznam sjednocených spuštění ve verzi Preview přidává spuštění kanálu do seznamu spuštění úloh. Podrobnosti o změnách s povolenou verzí Preview a o tom, jak ji povolit, najdete v tématu Změny ve verzi Preview sjednoceného seznamu spuštění.

Kliknutím na název kanálu na stránce Úlohy a Kanály se zobrazí stránka monitorování pro daný kanál. Odtud můžete spustit běh pipeline a zobrazit podrobnosti o předchozích bězích.

Graf kanálu označovaný také jako směrovaný acyklický graf (DAG) se zobrazí, jakmile se úspěšně spustí aktualizace kanálu. Šipky znázorňují závislosti mezi datovými sadami v pipeline. Ve výchozím nastavení se na stránce monitorování kanálu zobrazuje nejnovější aktualizace tabulky, ale starší aktualizace můžete vybrat z rozevírací nabídky.

V pravém podokně se nahoře zobrazují podrobnosti kanálu, včetně ID kanálu, nákladů na výpočetní prostředky, edice produktu a kanálu. Podrobnosti aktualizace se zobrazují pod podrobnostmi procesu. Pokud chcete získat přístup ke zdrojovému kódu kanálu, klikněte na Upravit kanál v horní části stránky. Pokud chcete přejít na kód konkrétní tabulky, najeďte myší na tabulku v grafu kanálu a klikněte na Přejděte na kód.

Pokud chcete zobrazit tabulkové zobrazení datových sad, klikněte na kartu Seznam . Zobrazení Seznam umožňuje zobrazit všechny datové sady v kanálu reprezentované jako řádek v tabulce a je užitečné, když je graf kanálu příliš velký k vizualizaci v zobrazení Graf . Datové sady zobrazené v tabulce můžete řídit pomocí více filtrů, jako je název datové sady, typ a stav. Pokud chcete přepnout zpět na graf kanálu, klikněte na Graf.

Uživatel Spustit jako je vlastník kanálu a aktualizace kanálu se spouštějí s oprávněními tohoto uživatele. Chcete-li změnit uživatele run as, klikněte na Oprávnění a změňte vlastníka potrubí.

Poznámka:

Chování při spuštění aktualizace: Aktualizace spuštěné podle plánu, rozhraním Pipelines API nebo kontinuálními kanály využívají automatické opakování a restartování. Aktualizace aktivované z uživatelského rozhraní monitorování nebo editoru kanálů používají chování zaměřené na rychlé spuštění a ladění. Chcete-li změnit chování pro konkrétní spuštění, použijte v rozevíracím seznamu možnost Spustit nyní s jiným nastavením. Další informace naleznete v tématu Chování při spuštění aktualizace.

Protokol událostí: Pokud při aktualizaci kanálu dojde k chybám, zobrazí se chyby ve spodním podokně spolu s tlačítkem Zobrazit protokol pro přístup k protokolu událostí tohoto spuštění. Protokol událostí je k dispozici také výběrem Zobrazte protokol událostí z podrobností o spuštění v pravém podokně. Při spuštění aktualizace v Editoru kanálů Lakeflow přejděte do podokna Problémy v dolní části editoru a klikněte na zobrazit protokoly nebo tlačítko Otevřít v protokolech vedle jakékoli chyby. Další informace najdete v tématech Editor kanálů Lakeflow a Nastavení kanálu pro protokol událostí.

Změny ve sjednoceném seznamu spuštění v náhledu

Pokud máte povolenou verzi Preview sjednoceného seznamu spuštění , můžete na stránce Úlohy a Kanály zobrazit aktualizace spuštění kanálu.

Důležité

Sjednocený seznam spuštění je ve verzi Public Preview. Pracovní prostory jsou ve výchozím nastavení automaticky zařazeny do verze Preview.

Pokud chcete zakázat sjednocený seznam spuštění, musí správce pracovního prostoru vyjádřit výslovný nesouhlas s verzí Preview. Podrobnosti o vyjádření souhlasu nebo odhlášení z verze Preview najdete v tématu Správa verzí Preview na úrovni účtu.

Pokud chcete získat přístup ke sjednocenému seznamu spuštění, vyberte Spuštění z bočního panelu pracovního prostoru nebo klikněte na Úlohy a pipeline, pak zvolte kartu Spuštění.

Karta zobrazuje seznam posledních spuštění za posledních 60 dnů. Nejprve se zobrazí graf znázorňující úspěch a selhání běhů za posledních 48 hodin, v následujících případech:

• Jste filtrováni pouze na úlohy nebo pipelines.
• Jste správce nebo filtrujte pouze spuštění. Run as: Me
• Zobrazení v grafu může trvat až hodinu.

Seznam a graf můžete filtrovat podle:

• Název úlohy nebo potrubí
• Všechny, úlohy nebo potrubí.
• Typ kanálu (ETL, Příjem dat, MV/ST nebo Synchronizace tabulek databáze).
• Spustit jako uživatel.
• Čas zahájení (za posledních 48 hodin).
• Stav spuštění.
• Kód chyby pro neúspěšná spuštění.

Kromě výše uvedeného můžete v seznamu zobrazit následující sloupce:

• Koncový čas
• ID spuštění
• Ať už bylo zahájeno ručně, nebo podle plánu.
• Spusťte Dobu trvání
• Parametry spuštění

Chcete-li změnit sloupce zobrazené v seznamu spuštění, klikněte na vyberte nebo zrušte výběr sloupců.

Kliknutím na počáteční čas, koncový čas nebo název spuštění kanálu přejdete na stránku monitorování kanálu.

Když je roura aktivně spuštěná, můžete spuštění zastavit kliknutím na tlačítko Kdykoli můžete také kliknout na na řádku pro spuštění a zvolte Upravit kanál a zobrazte kanál v editoru.

Zobrazení podrobností datové sady

Kliknutím na datovou sadu v grafu kanálu nebo seznamu datových sad se zobrazí informace o datové sadě v dolním podokně. Pravý panel nadále zobrazuje podrobnosti o pipeline a aktualizacích.

• Schéma: Zvolte tabulku na kartě Tabulky v dolním podokně a pak vyberte Sloupce.
• Metriky kvality dat: Zobrazitelné v dolním podokně, když je vybraná tabulka.
• Zdrojový kód: Pokud chcete přejít na kód konkrétní tabulky, najeďte myší na tabulku v grafu kanálu a klikněte na Přejděte na tlačítko kódu .
• Historie dotazů: V dolním podokně zvolte Výkon .
• Komentáře k tabulce: Komentáře k tabulce nejsou na stránce podrobností kanálu k dispozici. Pokud chcete zobrazit komentáře k tabulce, otevřete ji v Průzkumníku katalogu. Pokud chcete přejít přímo k tabulce, najeďte na ni myší v grafu pipeline, klikněte na , potom klikněte na Zobrazit v katalogu. Pokud chcete získat přístup k Průzkumníku katalogu ze seznamu tabulek v dolním podokně, klikněte na

zobrazení historie aktualizací

Pokud chcete zobrazit historii a stav aktualizací kanálu, klikněte na rozevírací nabídku historie aktualizací v horním panelu.

Výběrem aktualizace v rozevírací nabídce zobrazíte graf, podrobnosti a události aktualizace. Chcete-li se vrátit k nejnovější aktualizaci, klepněte na tlačítko Zobrazit nejnovější aktualizace.

Poznámka:

Uchovávání historie aktualizací závisí na produktové edici kanálu: Core uchovává historii aktualizací za posledních 5 dní, zatímco Pro a Advanced ji uchovávají 30 dní. Aktualizace starší než okno uchovávání informací se zde již nezobrazují, ale zůstávají v protokolu událostí.

Zobrazení metrik streamování

Důležité

Pozorovatelnost streamování pro kanály je ve verzi Public Preview.

Můžete zobrazit metriky streamování ze zdrojů dat podporovaných strukturovaným streamováním Sparku, jako je Apache Kafka, Amazon Kinesis, Auto Loader a Delta, pro každý tok streamování ve vašem kanálu. Metriky se zobrazují jako grafy v pravém podokně uživatelského rozhraní kanálu a zahrnují sekundy backlogu, bajty backlogu, záznamy backlogu a soubory backlogu. Grafy zobrazují maximální hodnotu agregovanou po minutě a nápověda ukazuje maximální hodnoty při najetí myší na graf. Data jsou omezená na posledních 48 hodin od aktuálního času.

Tabulky v pipeline s dostupnými metrikami streamování zobrazují ikonu při zobrazení grafu pipeline v zobrazení uživatelského rozhraní Graf. Pokud chcete zobrazit metriky streamování, klikněte na a zobrazte graf metrik streamování na kartě Toky v pravém podokně. Filtr můžete použít také k zobrazení pouze tabulek s metrikami streamování kliknutím na Seznam a následným kliknutím na Má metriky streamování.

Každý zdroj streamování podporuje pouze konkrétní metriky. Metriky, které zdroj streamování nepodporuje, nejsou k dispozici pro zobrazení v uživatelském rozhraní. Následující tabulka uvádí metriky dostupné pro podporované zdroje streamování:

odeslat k provedení	bajty backlogu	záznamy nevyřízených úkolů	sekundy backlogu	backlogové soubory
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Automatický nakladač	✓			✓
Google Pub/Sub (služba pro zasílání zpráv)	✓	✓