Мониторинг конвейеров в пользовательском интерфейсе

Отслеживайте конвейеры Lakeflow в пользовательском интерфейсе Azure Databricks для отслеживания хода обновления, оповещения о событиях конвейера и просмотра метрик источника потоковой передачи. Такие встроенные функции поддерживают такие задачи, как:

• Наблюдение за ходом и состоянием обновлений в конвейере. См. сведения о конвейере, доступные на странице мониторинга.
• Оповещение о событиях конвейера, таких как успех или неудача обновлений конвейера. См. добавьте уведомления по электронной почте для событий конвейера.
• Просмотр метрик для источников потоковой передачи, таких как Apache Kafka и автозагрузчик (общедоступная предварительная версия). См. просмотр метрик потоковой передачи.

Добавить уведомления по электронной почте для событий конвейера

Вы можете настроить один или несколько адресов электронной почты для получения уведомлений, когда происходит следующее:

• Обновление конвейера успешно завершено.
• Обновление конвейера завершается сбоем либо с ошибкой, которую можно исправить, либо с ошибкой, не допускающей повторных попыток. Выберите этот параметр, чтобы получить уведомление обо всех сбоях конвейера.
• Обновление конвейера завершается необратимой (фатальной) ошибкой. Выберите этот параметр, чтобы получить уведомление только в том случае, если возникает ошибка без повторных попыток.
• Сбой одного потока данных.

Чтобы настроить уведомления по электронной почте, измените параметры конвейера. См. уведомления.

Замечание

Создайте пользовательские ответы на события, включая уведомления или настраиваемую обработку, с помощью Python перехватчиков событий.

Просмотр конвейеров в пользовательском интерфейсе

Найдите конвейер на Параметр "Задания и конвейеры" на боковой панели рабочей области. Откроется страница "Задания и конвейеры" , в которой можно просмотреть сведения о каждом задании и конвейере, к которой у вас есть доступ. Щелкните имя конвейера, чтобы открыть страницу мониторинга конвейера. Чтобы изменить задание или конвейер, щелкните Выберите пункт "Изменить".

Замечание

Задания и различные типы конвейеров имеют разные редакторы. Параметр "Изменить" открывает правильный редактор для выбранного объекта.

Используйте список заданий и конвейеров

Чтобы просмотреть список конвейеров, к которых у вас есть доступ, щелкните Задания и конвейеры на боковой панели. Вкладка "Задания и конвейеры" содержит сведения обо всех доступных заданиях и конвейерах, таких как создатель, триггер (при наличии), а также результат последних пяти запусков.

Щелкнув имя конвейера или задания, перейдите на страницу мониторинга для этого конвейера или задания. Чтобы изменить конвейер или задание, щелкните Затем нажмите кнопку "Изменить".

Чтобы изменить столбцы, отображаемые в списке, щелкните и выберите или отмените выбор столбцов. Например, чтобы добавить Pipeline Type как столбец, выберите его для просмотра.

Вы можете фильтровать задания в списке заданий и конвейеров , как показано на следующем снимке экрана.

1. Поиск текста: поиск ключевых слов поддерживается для полей "Имя и идентификатор ". Чтобы найти тег, созданный с ключом и значением, можно выполнить поиск по ключу, по значению или по ключу и значению. Например, для тега с ключом department и значением finance соответствующие задания можно найти по department или finance. Чтобы выполнить поиск по ключу и значению, введите ключ и значение, разделенные двоеточием (например, department:finance).
2. Тип: фильтрация по заданиям, конвейерам или всем. Если выбрать потоки данных, можно также фильтровать по типу потока данных, который включает потоки данных ETL и ввода данных.
3. Владелец: отображение только собственных заданий.
4. Избранное: отображение заданий, помеченных как избранное.
5. Теги: использование тегов. Для поиска по тегу можно использовать раскрывающееся меню тегов, чтобы отфильтровать до пяти тегов одновременно или напрямую использовать поиск по ключевым словам.
6. Запуск от имени: фильтрация по двум run as значениям.

Чтобы запустить задание или конвейер, нажмите значок . Чтобы остановить задание или поток, нажмите кнопку с иконкой . Чтобы получить доступ к другим действиям, щелкните значок меню . Например, можно изменить или удалить задание или конвейер или параметры доступа для конвейера из этого меню.

Сведения о конвейере, доступные на странице мониторинга

Замечание

Предварительный просмотр списка унифицированных запусков добавляет запуски конвейеров в список выполнения заданий. Дополнительные сведения об изменениях, доступных при включении этой предварительной версии, и о том, как ее включить, см. в разделе Изменения в предварительной версии "Единый список запусков".

Щелкнув имя конвейера на странице "Задания и конвейеры ", отображается страница мониторинга для этого конвейера. Здесь можно запустить конвейер выполнения и просмотреть сведения о предыдущих запусках.

Граф конвейера, также называемый ациклическим графом (DAG), отображается сразу после успешного запуска обновления конвейера. Стрелки представляют зависимости между наборами данных в конвейере. По умолчанию на странице мониторинга конвейера отображается последнее обновление таблицы, но в раскрывающемся меню можно выбрать старые обновления.

В правой области отображаются сведения о конвейере в верхней части, включая идентификатор конвейера, затраты на вычисления, выпуск продукта и канал. Сведения об обновлении отображаются под сведениями о конвейере. Чтобы получить доступ к исходному коду конвейера, щелкните "Изменить конвейер " в верхней части страницы. Чтобы перейти к коду для определенной таблицы, наведите указатель мыши на таблицу в графе конвейера и щелкните Перейдите к коду.

Чтобы просмотреть табличное представление наборов данных, щелкните вкладку "Список ". Представление списка позволяет просматривать все наборы данных в конвейере, представленные в виде строки в таблице, и полезно, если граф конвейера слишком велик для визуализации в представлении графа . Вы можете управлять наборами данных, отображаемыми в таблице, с помощью нескольких фильтров, таких как имя набора данных, тип и состояние. Чтобы вернуться к графу конвейера, щелкните Graph.

Пользователь запуска от имени является владельцем потока данных, и обновления потока выполняются с разрешениями этого пользователя. Чтобы изменить пользователя run as, сначала щелкните Разрешения, а затем измените владельца конвейера.

Замечание

Поведение выполнения обновлений: обновления, запускаемые по расписанию, через API конвейеров или в непрерывных конвейерах, используют автоматическое повторное выполнение и перезапуск. Это включает постоянные обновления конвейера, начинаемые из интерфейса мониторинга или редактора конвейера. Обновления для ненепрерывных конвейеров, начинаемых из интерфейса мониторинга или редактора пайплайна, используют поведение быстрого запуска, ориентированное на отладку. Чтобы переопределить поведение для конкретного ненепрерывного запуска конвейера, используйте опцию «Запустить сейчас» с другими настройками в выпадающем списке. Дополнительные сведения см. в разделе Поведение выполнения обновления.

Журнал событий. При обновлении конвейера ошибки отображаются в нижней области с кнопкой "Просмотр журналов ", чтобы получить доступ к журналу событий для этого запуска. Журнал событий также доступен, щелкнув Просмотр журнала событий из сведений о запуске в правой области. При запуске обновления в редакторе конвейеров Lakeflow перейдите на панель Проблемы в нижней части редактора, а затем нажмите Просмотреть журналы или кнопку Открыть в журналах рядом с сообщением об ошибке. Дополнительные сведения см. в разделе "Редактор конвейеров Lakeflow" и "Параметры конвейера" для журнала событий.

Изменения в предварительной версии списка унифицированных запусков

Если у вас включена предварительная версия списка унифицированных запусков, на странице "Задания и конвейеры" можно просматривать обновления запуска конвейера.

Это важно

Список унифицированных запусков находится в общедоступной предварительной версии. Рабочие области по умолчанию включены в предварительный просмотр.

Чтобы отключить единый список запусков, администратор рабочей области должен отказаться от предварительной версии. Дополнительные сведения о включении или выходе из предварительной версии см. в разделе "Управление предварительными версиями на уровне учетной записи".

Чтобы получить доступ к списку унифицированных запусков, выберите "Запуски" с боковой панели рабочей области или нажмите Задания и конвейеры, а затем перейдите на вкладку Запуски.

На вкладке показан список последних запусков за последние 60 дней. График, показывающий успешность и сбой запусков за последние 48 часов, отображается сначала в следующих случаях:

• Вы отфильтрованы только по заданиям или конвейерам.
• Вы являетесь администратором или фильтруете только запуски Run as: Me
• Результаты выполнения могут появиться на графике через час.

Вы можете отфильтровать список и граф, выполнив следующие действия.

• Имя задания или конвейера.
• Все, задания или конвейеры.
• Тип конвейера (ETL, загрузка, MV/ST или синхронизация таблицы базы данных).
• Запуск от имени пользователя.
• Время запуска (за последние 48 часов).
• Состояние выполнения.
• Код ошибки для неудачных запусков.

Кроме приведенного выше, можно просмотреть следующие столбцы в списке:

• Время окончания
• Идентификатор запуска
• Запуск был выполнен по расписанию или вручную.
• Длительность выполнения.
• Параметры запуска.

Чтобы изменить столбцы, отображаемые в списке запусков, щелкните и выберите или отмените выбор столбцов.

Щелкнув время начала, время окончания или имя запуска конвейера, перейдите на страницу мониторинга для конвейера.

При активном запуске конвейера можно остановить его, нажав Нажмите кнопку "Остановить". В любое время можно также щелкнуть в строке выполнения и выбрать Изменить конвейер для просмотра потока в редакторе.

Просмотр сведений о наборе данных

Щелкнув набор данных в графе конвейера или списке наборов данных, отображаются сведения о наборе данных в нижней области. На правой панели по-прежнему отображаются сведения о конвейере и об обновлении.

• Схема: выберите таблицу на вкладке "Таблицы " нижней панели, а затем выберите "Столбцы".
• Метрики качества данных: можно просмотреть на нижней панели при выборе таблицы.
• Исходный код: чтобы перейти к коду для определенной таблицы, наведите указатель мыши на таблицу в графе конвейера и щелкните Перейдите к кнопке кода .
• Журнал запросов: выберите производительность в нижней области.
• Примечания к таблице: комментарии таблицы недоступны на странице сведений о конвейере. Чтобы просмотреть примечания к таблице, откройте таблицу в обозревателе каталогов. Чтобы перейти непосредственно к таблице, наведите указатель мыши на неё в графе конвейера, щёлкните , затем щёлкните Просмотр в каталоге. Чтобы получить доступ к обозревателе каталогов из списка таблиц в нижней области, щелкните

История обновлений

Чтобы просмотреть журнал и состояние обновлений конвейера, щелкните раскрывающееся меню журнала обновлений в верхней строке.

Выберите обновление в раскрывающемся меню, чтобы увидеть его график, подробности и события. Чтобы вернуться к последнему обновлению, щелкните Показать последнее обновление.

Замечание

Конвейеры хранят историю обновлений за последние 60 дней. Обновления старше периода хранения больше не отображаются здесь, но остаются в журнале событий.

Отладка неудачного обновления конвейера

Если обновление не удаётся, начните с панели «Проблемы » в редакторе Lakeflow Pipelines или с нижней панели страницы мониторинга. Там ошибки неудачных обновлений отображаются с кнопкой «Просмотреть журналы», которая сразу открывает соответствующие записи в журнале событий, поэтому вам редко приходится вручную искать нужные записи в сырых журналах.

Затем разберите сбой:

• Определите, что не удалось. В режиме Graph неисправные таблицы и потоки выделяются непосредственно на DAG. Выберите элемент, чтобы просмотреть сообщение об ошибке, и проверьте, ограничивается ли сбой одной таблицей или распространился на зависимые от неё объекты.
• Проверьте журнал событий на наличие полного сообщения об ошибке. Интерфейс может обрезать сообщения. Столбцы error и details в журнале событий содержат полную трассировку стека и структурированный контекст. См. запрос журнала событий.
• Перезапускайте только то, что не получилось. Используйте Обновить таблицы с ошибками, чтобы повторно обработать только таблицы с ошибками и все зависящие от них таблицы, а не повторно обрабатывать таблицы, которые уже были успешно обработаны. См. Начало обновления конвейера для таблиц с ошибками.
• Проверьте до полного обновления. Если сбой выглядит скорее как проблема кода или конфигурации, а не с данными, сначала запустите Validate . Он повторно проверяет граф конвейера и исходный код, не материализуя данные, поэтому вы быстро понимаете, устраняет ли ваше исправление ошибку, прежде чем расходовать вычислительные ресурсы. См. Проверка трубопровода на ошибки без ожидания обновления таблиц.
• Учитывайте поведение при повторных попытках. Обновления, запущенные вручную из редактора, отключают автоматические повторные попытки, поэтому ошибки отображаются сразу, а для обновлений, запускаемых по расписанию или через API, при устранимых сбоях повторные попытки выполняются автоматически. Оповещение о сбое в продакшене может исчезнуть при повторной попытке, тогда как при интерактивной разработке тот же сбой не исчезнет. См. статью "Поведение выполнения обновления".

Замечание

Если сбой связан именно с некорректной или несовместимой контрольной точкой потока (что часто бывает после изменения операции состояния, например dropDuplicates() , агрегации или после смены источника), то повторная попытка сама по себе не решит проблему. Для восстановления требуется повторная обработка данных: либо полная перезагрузка, либо выборочный сброс контрольной точки, который повторно обрабатывает данные с выбранной позиции и сохраняет существующие данные таблицы. Поскольку при сбросе исходные данные обрабатываются повторно, операции записи в нижестоящие системы должны быть идемпотентными. См. Восстановить конвейер после сбоя контрольной точки потока.

Просмотр метрик потокового вещания

Это важно

Наблюдаемость потоковой передачи для конвейеров доступна в общедоступной предварительной версии.

Метрики потоковой передачи можно просматривать из источников данных, поддерживаемых Spark Structured Streaming, например, Apache Kafka, Amazon Kinesis, Auto Loader и Delta tables, для каждого потокового потока в вашей конвейерной системе. Метрики отображаются в виде диаграмм в правой области пользовательского интерфейса конвейера и включают секунды невыполненной работы, байты невыполненной работы, записи невыполненной работы и файлы невыполненной работы. На диаграммах отображается максимальное значение, агрегированное по минуте, а подсказка отображает максимальные значения при наведении указателя мыши на диаграмму. Данные ограничены последними 48 часами с текущего времени.

Таблицы в вашем конвейере, для которых доступны метрики потоковой передачи, отображают значок при просмотре графа конвейера в представлении Граф интерфейса пользователя. Чтобы просмотреть метрики потоковой передачи, щелкните , чтобы отобразить диаграмму метрики потоковой передачи на вкладке "Потоки " в правой области. Вы также можете применить фильтр для просмотра только таблиц с метриками потоковой передачи, щелкнув List, а затем щелкнув Имеет метрики потоковой передачи.

Каждый источник потоковой передачи поддерживает только определенные метрики. Метрики, не поддерживаемые источником потоковой передачи, недоступны для просмотра в пользовательском интерфейсе. В следующей таблице показаны метрики, доступные для поддерживаемых источников потоковой передачи:

source	невыполненные байты	записи невыполненной работы	секунды невыполненной работы	файлы невыполненной работы
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Автозагрузчик	✓			✓
Публикация и подписка Google	✓	✓