Monitorování kanálů v uživatelském rozhraní

Tato část popisuje použití integrovaných funkcí monitorování a pozorovatelnosti pro deklarativní kanály Lakeflow Sparku v uživatelském rozhraní Azure Databricks. Tyto funkce podporují například tyto úlohy:

• Sledování průběhu a stavu aktualizací potrubí. Podívejte se na podrobnosti kanálu, které jsou k dispozici na stránce monitorování.
• Upozornění na události v kanálu, jako je úspěch nebo neúspěch aktualizací kanálu. Viz Přidejte e-mailová oznámení o událostech pipeline.
• Zobrazení metrik pro streamované zdroje, jako jsou Apache Kafka a Auto Loader (Public Preview). Viz Zobrazit metriky streamování.

Přidejte e-mailová oznámení pro události pipeline

Můžete nakonfigurovat jednu nebo více e-mailových adres pro příjem oznámení, když dojde k následujícímu:

• Aktualizace pipeline byla úspěšně provedena.
• Aktualizace pipeline selže, buď s chybou, kterou lze opakovat, nebo s chybou, kterou nelze opakovat. Tuto možnost vyberte, pokud chcete dostávat oznámení o všech selháních kanálu.
• Aktualizace potrubí selže s neopravitelnou (fatální) chybou. Tuto možnost vyberte, pokud chcete dostávat oznámení pouze v případě, že dojde k neopakovatelné chybě.
• Jeden datový tok selže.

Pokud chcete nakonfigurovat e-mailová oznámení, upravte nastavení kanálu. Viz Oznámení.

Poznámka:

Vytvářejte vlastní odpovědi na události, včetně oznámení nebo vlastního zpracování, pomocí hooků událostí Pythonu.

Zobrazení potrubí v uživatelském rozhraní

Najděte svůj kanál z Možnost Úlohy a kanály na bočním panelu pracovního prostoru Otevře se stránka Úlohy a kanály , kde můžete zobrazit informace o jednotlivých úlohách a kanálu, ke kterým máte přístup. Kliknutím na název kanálu otevřete stránku monitorování kanálu. Pokud chcete upravit úlohu nebo proces, klikněte na a zvolte Upravit.

Poznámka:

Úlohy a různé typy potrubí mají různé editory. Možnost Upravit otevře správný editor pro vybraný objekt.

Použití seznamu úloh a kanálů

Pokud chcete zobrazit seznam kanálů, ke kterým máte přístup, klikněte na Úlohy a kanály na bočním panelu Na kartě Úlohy a kanály jsou uvedeny informace o všech dostupných úlohách a kanálech, jako je tvůrce, trigger (pokud existuje) a výsledek posledních pěti spuštění.

Kliknutím na název kanálu nebo úlohy přejdete na stránku monitorování pro daný kanál nebo úlohu. Pokud chcete upravit kanál nebo úlohu, klikněte na , pak vyberte Upravit.

Chcete-li změnit sloupce zobrazené v seznamu, klikněte na a vyberte nebo zrušte výběr sloupců. Pokud chcete například přidat Pipeline Type jako sloupec, vyberte tento sloupec k zobrazení.

Úlohy můžete filtrovat v seznamu Úlohy a kanály , jak je znázorněno na následujícím snímku obrazovky.

1. Hledání textu: Hledání klíčových slov je podporováno pro pole Název a ID . Pokud chcete vyhledat značku vytvořenou pomocí klíče a hodnoty, můžete hledat podle klíče, hodnoty nebo klíče i hodnoty. Například pro značku s klíčem department a hodnotou financemůžete vyhledat department nebo finance najít odpovídající úlohy. Pokud chcete hledat podle klíče a hodnoty, zadejte klíč a hodnotu oddělenou dvojtečku (například department:finance).
2. Typ: filtrovat podle úloh, procesů, nebo všech. Pokud vyberete Kanály , můžete také filtrovat podle typu kanálu, který zahrnuje kanály ETL a Příjem dat.
3. Vlastník: Zobrazí jenom úlohy, které vlastníte.
4. Oblíbené: zobrazí úlohy, které jste označili jako oblíbené.
5. Značky: Používejte značky. Pokud chcete hledat podle značky, můžete použít rozevírací nabídku značek k filtrování až pěti značek najednou nebo přímo použít vyhledávání klíčových slov.
6. Spustit jako: Filtrovat podle až dvou run as hodnot.

Pokud chcete spustit úlohu nebo proces, klikněte na ikonu . Pokud chcete zastavit úlohu nebo kanál, klikněte na tlačítko ikonu zastavení. Pokud chcete získat přístup k dalším akcím, klikněte na Můžete například upravit nebo odstranit úlohu nebo kanál, nebo přistupovat k nastavení pipeline z této nabídky.

Podrobnosti o kanálu dostupné na stránce monitorování

Poznámka:

Existuje několik náhledů, které mohou ovlivnit, co vidíte při monitorování datových toků v uživatelském rozhraní.

• Editor potrubí Lakeflow změní způsob práce s podrobnostmi potrubí. Pokud se přihlásíte k náhledu, zobrazí se informace v jiném uživatelském rozhraní, než je popsáno tady. Podrobnosti o tomto uživatelském rozhraní najdete v tématu Jaké změny jsou v Editoru kanálů Lakeflow?.
• Seznam sjednocených spuštění ve verzi Preview přidává spuštění kanálu do seznamu spuštění úloh. Podrobnosti o změnách s povolenou verzí Preview a o tom, jak ji povolit, najdete v tématu Jaké změny jsou ve verzi Preview sjednoceného seznamu spuštění?.

Kliknutím na název kanálu na stránce Úlohy a Kanály se zobrazí stránka monitorování pro daný kanál. Odtud můžete spustit běh pipeline a zobrazit podrobnosti o předchozích bězích.

Graf kanálu (označovaný také jako DAG) se zobrazí, jakmile se úspěšně spustí aktualizace kanálu. Šipky znázorňují závislosti mezi datovými sadami v pipeline. Ve výchozím nastavení se na stránce monitorování kanálu zobrazuje nejnovější aktualizace tabulky, ale starší aktualizace můžete vybrat z rozevírací nabídky.

Podrobnosti zahrnují ID kanálu, zdrojový kód, náklady na výpočetní prostředky, edici produktu a kanál nakonfigurovaný pro kanál.

Pokud chcete zobrazit tabulkové zobrazení datových sad, klikněte na kartu Seznam . Zobrazení Seznam umožňuje zobrazit všechny datové sady v kanálu reprezentované jako řádek v tabulce a je užitečné, když je graf kanálu příliš velký k vizualizaci v zobrazení Graf . Datové sady zobrazené v tabulce můžete řídit pomocí více filtrů, jako je název datové sady, typ a stav. Pokud chcete přepnout zpět na vizualizaci DAG, klikněte na graph.

Uživatel Spustit jako je vlastník kanálu a aktualizace kanálu se spouštějí s oprávněními tohoto uživatele. Chcete-li změnit uživatele run as, klikněte na Oprávnění a změňte vlastníka potrubí.

Jaké změny jsou v Editoru kanálů Lakeflow?

Pokud jste zapojeni do verze preview editoru Lakeflow Pipelines a nového uživatelského rozhraní pro monitorování pipeline, některé informace se nacházejí na různých místech v uživatelském rozhraní. Informace o Editoru kanálů Lakeflow a vyjádření souhlasu s oběma verzemi Preview najdete v tématu Povolení editoru kanálů Lakeflow a aktualizovaného monitorování.

Důležité

Tato funkce je ve verzi Public Preview.

Při přihlášení k oběma verzím Preview se zobrazí následující změny monitorování na stránce monitorování kanálu:

• Karty Podrobnosti kanálu a Podrobnosti o aktualizaci na pravém panelu byly sloučeny s podrobnostmi kanálu v horní části a podrobnostmi o aktualizaci.

• Kliknutí na tabulku v grafu nezobrazuje podrobnosti tabulky na pravém panelu. Na pravém panelu se budou dál zobrazovat podrobnosti o kanálu a aktualizaci. Místo toho dolní panel zobrazuje informace o tabulce.

• Pravidla pro spuštění kanálu v režimu vývoje se mírně aktualizují. Informace o režimu vývoje naleznete v tématu Režim vývoje.

  • Spuštění kanálu prostřednictvím plánu nebo triggeru se řídí nastavením kanálu, jestli se má použít vývojový režim. Výchozí nastavení kanálu můžete změnit v nastavení kanálu.
  • Spuštění kanálu prostřednictvím uživatelského rozhraní pro monitorování bude používat režim definovaný v nastavení kanálu. Režim vývoje můžete zvolit pomocí možnosti Spustit s různými nastaveními v rozevíracím seznamu.
  • Spuštění kanálu z editoru kanálů se ve výchozím nastavení nastaví do vývojového režimu. Režim vývoje nemůžete použít pomocí možnosti Spustit s různými nastaveními v rozevíracím seznamu.

• V podrobnostech kanálu už není odkaz na zdrojový kód. Místo toho zvolte Upravit kanál v horní části. Pokud chcete přejít na kód konkrétní tabulky, najeďte myší na tabulku v DAG a klikněte na Přejděte na tlačítko kódu .

• Protokol událostí se už ve výchozím nastavení nezobrazuje na každé aktualizaci ze stránky monitorování kanálu. Pokud během zpracování dojde k chybě, zobrazí se na dolním panelu chyby a zobrazí se tlačítko Zobrazit protokoly událostí pro dané spuštění. Protokol událostí je k dispozici také výběrem Zobrazte protokol událostí z podrobností o spuštění na pravém panelu.

  Pokud chcete získat přístup k protokolu událostí při spuštění aktualizace v novém Editoru kanálů Lakeflow, přejděte do panelu Problémy a přehledy v dolní části editoru, klikněte na Zobrazit protokoly nebo na tlačítko Otevřít v protokolech vedle jakékoli chyby. Další podrobnosti najdete v tématu Editor kanálů Lakeflow a nastavení kanálu pro protokol událostí.

• Informace o schématu tabulky jsou k dispozici tak, že zvolíte tabulku na kartě Tabulky na dolním panelu a pak vyberete Sloupce.

• Historie dotazů je dostupná výběrem Výkon v dolním panelu.

• Komentáře k tabulce nejsou na stránce podrobností kanálu k dispozici. Pokud chcete zobrazit komentáře k tabulce, zobrazte tabulku z Průzkumníka katalogu. Pokud chcete přejít přímo k tabulce v Průzkumníku katalogu, najeďte myší na tabulku v DAG a potom klikněte na a pak na Zobrazit v katalogu. K informacím v Průzkumníku katalogu se dostanete také ze seznamu tabulek v dolním panelu kliknutím na

Jaké změny jsou v náhledu sjednoceného seznamu běhů?

Pokud máte povolenou verzi Preview sjednoceného seznamu spuštění , můžete na stránce Úlohy a Kanály zobrazit aktualizace spuštění kanálu.

Důležité

Sjednocený seznam spuštění je ve verzi Public Preview.

Pokud chcete povolit sjednocený seznam spuštění, musí se správce pracovního prostoru přihlásit k verzi Preview. Podrobnosti o přihlášení k verzi Preview najdete v tématu Správa verzí Preview na úrovni účtu.

Pokud chcete získat přístup ke sjednocenému seznamu spuštění, vyberte Spuštění z bočního panelu pracovního prostoru nebo klikněte na Úlohy a pipeline, pak zvolte kartu Spuštění.

Karta zobrazuje seznam posledních spuštění za posledních 60 dnů. Nejprve se zobrazí graf znázorňující úspěch a selhání běhů za posledních 48 hodin, v následujících případech:

• Jste filtrováni pouze na úlohy nebo pipelines.
• Jste správce nebo filtrujte pouze spuštění. Run as: Me
• Zobrazení v grafu může trvat až hodinu.

Seznam a graf můžete filtrovat podle:

• Název úlohy nebo potrubí
• Všechny, úlohy nebo potrubí.
• Typ kanálu (ETL, Příjem dat, MV/ST nebo Synchronizace tabulek databáze).
• Spustit jako uživatel.
• Čas zahájení (za posledních 48 hodin).
• Stav spuštění.
• Kód chyby pro neúspěšná spuštění.

Kromě výše uvedeného můžete v seznamu zobrazit následující sloupce:

• Koncový čas
• ID spuštění
• Ať už bylo zahájeno ručně, nebo podle plánu.
• Spusťte Dobu trvání
• Parametry spuštění

Chcete-li změnit sloupce zobrazené v seznamu spuštění, klikněte na vyberte nebo zrušte výběr sloupců.

Kliknutím na počáteční čas, koncový čas nebo název spuštění kanálu přejdete na stránku monitorování kanálu.

Když je roura aktivně spuštěná, můžete spuštění zastavit kliknutím na tlačítko Kdykoli můžete také kliknout na na řádku pro spuštění a zvolte Upravit kanál a zobrazte kanál v editoru.

Jak můžete zobrazit podrobnosti datové sady?

Kliknutím na datovou sadu v grafu kanálu nebo seznamu datových sad zobrazíte podrobnosti o datové sadě. Podrobnosti zahrnují schéma datové sady, metriky kvality dat a odkaz na zdrojový kód definující datovou sadu.

zobrazení historie aktualizací

Pokud chcete zobrazit historii a stav aktualizací kanálu, klikněte na rozevírací nabídku historie aktualizací v horním panelu.

Výběrem aktualizace v rozevírací nabídce zobrazíte graf, podrobnosti a události aktualizace. Chcete-li se vrátit k nejnovější aktualizaci, klepněte na tlačítko Zobrazit nejnovější aktualizace.

Zobrazení metrik streamování

Důležité

Pozorovatelnost streamování pro kanály je ve verzi Public Preview.

Můžete zobrazit metriky streamování ze zdrojů dat podporovaných strukturovaným streamováním Sparku, jako je Apache Kafka, Amazon Kinesis, Auto Loader a Delta, pro každý tok streamování ve vašem kanálu. Metriky se zobrazují jako grafy v pravém podokně uživatelského rozhraní kanálu a zahrnují sekundy backlogu, bajty backlogu, záznamy backlogu a soubory backlogu. Grafy zobrazují maximální hodnotu agregovanou po minutě a nápověda ukazuje maximální hodnoty při najetí myší na graf. Data jsou omezená na posledních 48 hodin od aktuálního času.

Tabulky v rámci pipeline s dostupnými metrikami streamování zobrazují ikonu LDP grafu při prohlížení DAG pipeline v zobrazení Graf uživatelského rozhraní. Pokud chcete zobrazit metriky streamování, klikněte na a zobrazte graf metrik streamování na kartě Toky v pravém podokně. Filtr můžete použít také k zobrazení pouze tabulek s metrikami streamování kliknutím na Seznam a následným kliknutím na Má metriky streamování.

Každý zdroj streamování podporuje pouze konkrétní metriky. Metriky, které zdroj streamování nepodporuje, nejsou k dispozici pro zobrazení v uživatelském rozhraní. Následující tabulka uvádí metriky dostupné pro podporované zdroje streamování:

odeslat k provedení	bajty backlogu	záznamy nevyřízených úkolů	sekundy backlogu	backlogové soubory
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Automatický nakladač	✓			✓
Google Pub/Sub (služba pro zasílání zpráv)	✓	✓