Monitorování kanálů

Monitorujte kanály Lakeflow pomocí vestavěného rozhraní pipeline, protokolu událostí, historie dotazů a vlastních napojení na události. Tyto funkce sledují průběh aktualizací, kvalitu dat, rodokmen a metriky streamování.

Monitorování pipeline funguje ve třech vrstvách, od rychlého pohledu až po hluboké programové dotazy:

• Seznam pracovních míst a potrubí je nejrychlejší kontrola. U každého pipeline se jako indikátory stavu zobrazí výsledek posledních pěti běhů, takže na první pohled poznáte, zda poslední běhy uspěly, selhaly nebo stále běží.
• Uživatelské rozhraní pro monitorování pipeline zobrazuje graf pipeline barevně kódovaný podle stavu, počtu řádků v tabulce a metriky kvality dat, historii aktualizací a metriky streamování backlogu pro vybranou aktualizaci. Viz Monitor pipelines v uživatelském rozhraní.
• Protokol událostí je hlavním zdrojem pravdy pro oba. Je to strukturovaná tabulka Delta, do které dotazujete na cokoli programového nebo historického, například výsledky aktualizací, trendy v kvalitě dat a využití zdrojů. Viz protokol událostí kanálu.

Pro upozornění na události v pipeline nastavte oznámení. Nastavte upozornění přímo na pipeline, když běží podle vlastního harmonogramu, nebo jako oznámení o úlohách , když pipeline běží uvnitř Lakeflow Job. Viz Přidejte e-mailová oznámení o událostech pipeline.

Téma	Description
Monitorování pomocí uživatelského rozhraní	Sledujte průběh a stav aktualizací pipeline a upozorňujte na jejich úspěch nebo selhání. Zobrazte metriky pro streamované zdroje, jako jsou Apache Kafka a Auto Loader.
Protokol událostí	Extrahujte podrobné informace o aktualizacích kanálu, jako jsou rodokmen dat, metriky kvality dat a využití prostředků pomocí protokolu událostí kanálu. Kromě toho se podívejte na schéma protokolu událostí.
Historie dotazů	Zkontrolujte a diagnostikujte výkon dotazů v historii dotazů.
Vlastní monitorování	Definujte vlastní akce, které se mají provést, když dojde k určitým událostem, pomocí háčků událostí.

Kromě toho existují témata pro řešení potíží pro konkrétní scénáře.

Téma	Description
Obnova pipeline po selhání kontrolního bodu streamování	Obnovení kanálu s neplatným nebo poškozeným kontrolním bodem streamování
Oprava vysokých inicializačních časů v kanálech	Rozdělením toků a vyrovnáváním jejich zatížení mezi kanály opravíte vysoké časy inicializace pro kanál.