Мониторинг конвейеров

Отслеживайте конвейеры Lakeflow с помощью встроенного пользовательского интерфейса конвейера, журнала событий, журнала запросов и пользовательских перехватчиков событий. Эти функции отслеживают ход обновления, качество данных, происхождение и метрики потоковой передачи.

Мониторинг конвейера работает в три уровня: от быстрого взгляда до глубоких программных запросов:

• Список Jobs & Pipelines — самая быстрая проверка. Он показывает результаты последних пяти запусков в виде индикаторов состояния рядом с каждым конвейером, чтобы вы могли с первого взгляда понять, были ли недавние запуски успешными, неудачными или всё ещё продолжаются.
• Интерфейс мониторинга конвейера показывает граф конвейера с цветовой кодировкой по статусу, количеству строк по таблице и метрикам качества данных, истории обновлений и метрикам потокового бэклога для выбранного обновления. См. Мониторинг конвейеров в интерфейсе.
• Журнал событий — это основная истина под обоими. Это структурированная таблица Delta, к которой вы задаваете запросы по любым программным или историческим вопросам, таким как результаты обновлений, тенденции качества данных и использование ресурсов. См. журнал событий конвейера.

Для оповещения о событиях конвейера настройте уведомления. Устанавливайте уведомления непосредственно на конвейере, когда он работает по собственному графику, или как уведомления о заданиях , когда конвейер работает внутри Lakeflow Job. См. добавьте уведомления по электронной почте для событий конвейера.

Тема	Description
Мониторинг с помощью пользовательского интерфейса	Следите за ходом выполнения и состоянием обновлений конвейера и получайте оповещения об их успешном выполнении или сбое. Просмотр метрик для потоковых источников, таких как Apache Kafka и Auto Loader.
Журнал событий	Извлеките подробные сведения об обновлениях конвейера, таких как происхождение данных, метрики качества данных и использование ресурсов с помощью журнала событий конвейера. Кроме того, см. схему для журнала событий.
Журнал запросов	Проверьте и диагностируйте производительность запросов, просматривая журнал запросов.
Настраиваемый мониторинг	Определите пользовательские действия, которые будут выполняться при возникновении определенных событий с помощью хуков событий.

Кроме того, существуют разделы по устранению неполадок для конкретных сценариев.

Тема	Description
Восстановление конвейера после сбоя контрольной точки потоковой обработки	Восстановите конвейер, имеющий недопустимую или поврежденную контрольную точку потоковой передачи.
Исправить слишком большое время инициализации в конвейерах	Исправьте время инициализации для конвейера путем разделения и балансировки нагрузки потоков между конвейерами.