Мониторинг конвейеров в пользовательском интерфейсе

В этом разделе описывается использование встроенных функций мониторинга и наблюдаемости для декларативных конвейеров Spark Lakeflow в пользовательском интерфейсе Azure Databricks. Такие функции поддерживают такие задачи, как:

• Наблюдение за ходом и состоянием обновлений в конвейере. См. сведения о конвейере, доступные на странице мониторинга.
• Оповещение о событиях конвейера, таких как успех или неудача обновлений конвейера. См. добавьте уведомления по электронной почте для событий конвейера.
• Просмотр метрик для источников потоковой передачи, таких как Apache Kafka и автозагрузчик (общедоступная предварительная версия). См. просмотр метрик потоковой передачи.

Добавить уведомления по электронной почте для событий конвейера

Вы можете настроить один или несколько адресов электронной почты для получения уведомлений, когда происходит следующее:

• Обновление конвейера успешно завершено.
• Обновление конвейера завершается сбоем либо с ошибкой, которую можно исправить, либо с ошибкой, не допускающей повторных попыток. Выберите этот параметр, чтобы получить уведомление обо всех сбоях конвейера.
• Обновление конвейера завершается необратимой (фатальной) ошибкой. Выберите этот параметр, чтобы получить уведомление только в том случае, если возникает ошибка без повторных попыток.
• Сбой одного потока данных.

Чтобы настроить уведомления по электронной почте, измените параметры конвейера. См. уведомления.

Замечание

Создайте пользовательские ответы на события, включая уведомления или настраиваемую обработку, с помощью Python перехватчиков событий.

Просмотр конвейеров в пользовательском интерфейсе

Найдите конвейер на Параметр "Задания и конвейеры" на боковой панели рабочей области. Откроется страница "Задания и конвейеры" , в которой можно просмотреть сведения о каждом задании и конвейере, к которой у вас есть доступ. Щелкните имя конвейера, чтобы открыть страницу мониторинга конвейера. Чтобы изменить задание или конвейер, щелкните Выберите пункт "Изменить".

Замечание

Задания и различные типы конвейеров имеют разные редакторы. Параметр "Изменить " откроет правильный редактор выбранного объекта.

Использование списка заданий и конвейеров

Чтобы просмотреть список конвейеров, к которых у вас есть доступ, щелкните Задания и конвейеры на боковой панели. Вкладка "Задания и конвейеры" содержит сведения обо всех доступных заданиях и конвейерах, таких как создатель, триггер (при наличии), а также результат последних пяти запусков.

Щелкнув имя конвейера или задания, перейдите на страницу мониторинга для этого конвейера или задания. Чтобы изменить конвейер или задание, щелкните Затем нажмите кнопку "Изменить".

Чтобы изменить столбцы, отображаемые в списке, щелкните и выберите или отмените выбор столбцов. Например, чтобы добавить Pipeline Type как столбец, выберите его для просмотра.

Вы можете фильтровать задания в списке заданий и конвейеров , как показано на следующем снимке экрана.

1. Поиск текста: поиск ключевых слов поддерживается для полей "Имя и идентификатор ". Чтобы найти тег, созданный с ключом и значением, можно выполнить поиск по ключу, по значению или по ключу и значению. Например, для тега с ключом department и значением finance соответствующие задания можно найти по department или finance. Чтобы выполнить поиск по ключу и значению, введите ключ и значение, разделенные двоеточием (например, department:finance).
2. Тип: фильтрация по заданиям, конвейерам или всем. Если выбрать потоки данных, можно также фильтровать по типу потока данных, который включает потоки данных ETL и ввода данных.
3. Владелец: отображение только собственных заданий.
4. Избранное: отображение заданий, помеченных как избранное.
5. Теги: использование тегов. Для поиска по тегу можно использовать раскрывающееся меню тегов, чтобы отфильтровать до пяти тегов одновременно или напрямую использовать поиск по ключевым словам.
6. Запуск от имени: фильтрация по двум run as значениям.

Чтобы запустить задание или конвейер, нажмите значок . Чтобы остановить задание или поток, нажмите кнопку с иконкой . Чтобы получить доступ к другим действиям, щелкните значок меню . Например, можно изменить или удалить задание или конвейер или параметры доступа для конвейера из этого меню.

Сведения о конвейере, доступные на странице мониторинга

Замечание

Существует несколько предварительных версий, которые могут повлиять на то, что вы видите при мониторинге конвейеров в пользовательском интерфейсе.

• Редактор Пайплайнов Lakeflow изменяет пользовательский опыт в работе с деталями пайплайнов. Если вы выбрали предварительную версию, сведения отображаются в другом пользовательском интерфейсе, чем описано здесь. Дополнительные сведения об этом пользовательском интерфейсе см. в разделе "Какие изменения находятся в редакторе Конвейеров Lakeflow?".
• Предварительный просмотр списка унифицированных запусков добавляет запуски конвейеров в список выполнения заданий. Дополнительные сведения об изменениях с включенной предварительной версией и его включении см. в разделе "Какие изменения находятся в предварительной версии единого списка запусков?".

Щелкнув имя конвейера на странице "Задания и конвейеры ", отображается страница мониторинга для этого конвейера. Здесь можно запустить конвейер выполнения и просмотреть сведения о предыдущих запусках.

График конвейера (также называемый DAG) отображается сразу после успешного запуска обновления конвейера. Стрелки представляют зависимости между наборами данных в конвейере. По умолчанию на странице мониторинга конвейера отображается последнее обновление таблицы, но в раскрывающемся меню можно выбрать старые обновления.

Сведения включают идентификатор конвейера, исходный код, затраты на вычисления, выпуск продукта и канал, настроенный для конвейера.

Чтобы просмотреть табличное представление наборов данных, щелкните вкладку "Список ". Представление списка позволяет просматривать все наборы данных в конвейере, представленные в виде строки в таблице, и полезно, если граф конвейера слишком велик для визуализации в представлении графа . Вы можете управлять наборами данных, отображаемыми в таблице, с помощью нескольких фильтров, таких как имя набора данных, тип и состояние. Чтобы вернуться к визуализации DAG, щелкните Graph.

Пользователь запуска от имени является владельцем потока данных, и обновления потока выполняются с разрешениями этого пользователя. Чтобы изменить пользователя run as, сначала щелкните Разрешения, а затем измените владельца конвейера.

Какие изменения в редакторе конвейеров обработки данных Lakeflow?

Если вы выбрали предварительный просмотр редактора Lakeflow Pipelines и новый пользовательский интерфейс мониторинга конвейера, некоторые сведения находятся в разных местах в пользовательском интерфейсе. Для получения информации о редакторе конвейеров Lakeflow и подключении к предварительным версиям, см. раздел "Включить редактор конвейеров Lakeflow" и обновленный мониторинг.

Это важно

Эта функция доступна в общедоступной предварительной версии.

При выборе обоих предварительных версий отображаются следующие изменения мониторинга с помощью страницы мониторинга конвейера:

• Вкладки "Сведения о конвейере " и " Обновить сведения " на правой панели были объединены с сведениями о конвейере вверху, а затем сведения об обновлении.

• Щелчок по таблице на графике не отображает сведения о таблице на правой панели. На правой панели по-прежнему отображаются сведения о конвейере и обновлении. Вместо этого на нижней панели отображаются сведения о таблице.

• Правила запуска конвейера в режиме разработки немного обновляются. Сведения о режиме разработки см. в разделе "Режим разработки".

  • Запуск конвейера с помощью расписания или триггера следует параметру конвейера для использования режима разработки. Можно изменить значение по умолчанию для конвейера в параметрах конвейера.
  • Запуск конвейера через пользовательский интерфейс мониторинга будет использовать режим, определенный в параметрах конвейера. Вы можете выбрать, следует ли использовать режим разработки с помощью параметра Run с разными параметрами в раскрывающемся списке.
  • Запуск конвейера из редактора конвейера по умолчанию используется в режиме разработки. Вы можете не использовать режим разработки с помощью параметра Run с различными параметрами в раскрывающемся списке.

• В сведениях о конвейере больше нет ссылки на исходный код. Вместо этого выберите "Изменить конвейер " в верхней части. Чтобы перейти к коду для определенной таблицы, наведите указатель мыши на таблицу в DAG и щелкните Перейдите к кнопке кода .

• Журнал событий больше не отображается по умолчанию при каждом обновлении со страницы мониторинга конвейера. При возникновении ошибки во время обработки ошибки отображаются на нижней панели, а кнопка "Просмотр журналов " отображается для просмотра журнала событий для этого запуска. Журнал событий также доступен, щелкнув Просмотрите журнал событий из сведений о выполнении на правой панели.

  Чтобы получить доступ к журналу событий при запуске обновления в новом редакторе Конвейеров Lakeflow, перейдите на панель "Проблемы и аналитика " в нижней части редактора, нажмите кнопку "Просмотреть журналы" или кнопку "Открыть в журналах " рядом с любой ошибкой. Дополнительные сведения см. в редакторе конвейеров Lakeflow и параметре конвейера для журнала событий.

• Сведения о схеме таблицы доступны, выбрав таблицу на вкладке "Таблицы " нижней панели и выбрав "Столбцы".

• Журнал запросов доступен, выбрав производительность на нижней панели.

• Примечания к таблицам недоступны на странице сведений о конвейере. Чтобы просмотреть примечания к таблице, просмотрите таблицу из обозревателя каталогов. Чтобы перейти непосредственно к таблице в обозревателе каталогов, наведите указатель мыши на таблицу в DAG, а затем щелкните Затем Просмотр в каталоге. Вы также можете получить доступ к сведениям в обозревателе каталогов из списка таблиц на нижней панели, щелкнув

Какие изменения изменяются в предварительной версии списка унифицированных запусков?

Если у вас включена предварительная версия списка унифицированных запусков, на странице "Задания и конвейеры" можно просматривать обновления запуска конвейера.

Это важно

Список унифицированных запусков находится в общедоступной предварительной версии.

Чтобы включить единый список запусков, администратор рабочей области должен принять участие в предварительной версии. Дополнительные сведения о выборе предварительной версии см. в разделе "Управление предварительными версиями на уровне учетной записи".

Чтобы получить доступ к списку унифицированных запусков, выберите "Запуски" с боковой панели рабочей области или нажмите Задания и конвейеры, а затем перейдите на вкладку Запуски.

На вкладке показан список последних запусков за последние 60 дней. График, показывающий успешность и сбой запусков за последние 48 часов, отображается сначала в следующих случаях:

• Вы отфильтрованы только по заданиям или конвейерам.
• Вы являетесь администратором или фильтруете только запуски Run as: Me
• Результаты выполнения могут появиться на графике через час.

Вы можете отфильтровать список и граф, выполнив следующие действия.

• Имя задания или конвейера.
• Все, задания или конвейеры.
• Тип конвейера (ETL, загрузка, MV/ST или синхронизация таблицы базы данных).
• Запуск от имени пользователя.
• Время запуска (за последние 48 часов).
• Состояние выполнения.
• Код ошибки для неудачных запусков.

Кроме приведенного выше, можно просмотреть следующие столбцы в списке:

• Время окончания
• Идентификатор запуска
• Запуск был выполнен по расписанию или вручную.
• Длительность выполнения.
• Параметры запуска.

Чтобы изменить столбцы, отображаемые в списке запусков, щелкните и выберите или отмените выбор столбцов.

Щелкнув время начала, время окончания или имя запуска конвейера, перейдите на страницу мониторинга для конвейера.

При активном запуске конвейера можно остановить его, нажав Нажмите кнопку "Остановить". В любое время можно также щелкнуть в строке выполнения и выбрать Изменить конвейер для просмотра потока в редакторе.

Как просмотреть сведения о наборе данных?

Щелкнув набор данных в графе конвейера или списке наборов данных, отображаются сведения о наборе данных. Сведения включают схему набора данных, метрики качества данных и ссылку на исходный код, определяющий набор данных.

История обновлений

Чтобы просмотреть журнал и состояние обновлений конвейера, щелкните раскрывающееся меню журнала обновлений в верхней строке.

Выберите обновление в раскрывающемся меню, чтобы увидеть его график, подробности и события. Чтобы вернуться к последнему обновлению, щелкните Показать последнее обновление.

Просмотр метрик потокового вещания

Это важно

Наблюдаемость потоковой передачи для конвейеров доступна в общедоступной предварительной версии.

Метрики потоковой передачи можно просматривать из источников данных, поддерживаемых Spark Structured Streaming, например, Apache Kafka, Amazon Kinesis, Auto Loader и Delta tables, для каждого потокового потока в вашей конвейерной системе. Метрики отображаются в виде диаграмм в правой области пользовательского интерфейса конвейера и включают секунды невыполненной работы, байты невыполненной работы, записи невыполненной работы и файлы невыполненной работы. На диаграммах отображается максимальное значение, агрегированное по минуте, а подсказка отображает максимальные значения при наведении указателя мыши на диаграмму. Данные ограничены последними 48 часами с текущего времени.

Таблицы в конвейере, для которых доступны метрики потоковой передачи, отображают значок диаграммы LDP при просмотре DAG конвейера в графическом представлении пользовательского интерфейса. Чтобы просмотреть метрики потоковой передачи, щелкните , чтобы отобразить диаграмму метрики потоковой передачи на вкладке "Потоки " в правой области. Вы также можете применить фильтр для просмотра только таблиц с метриками потоковой передачи, щелкнув List, а затем щелкнув Имеет метрики потоковой передачи.

Каждый источник потоковой передачи поддерживает только определенные метрики. Метрики, не поддерживаемые источником потоковой передачи, недоступны для просмотра в пользовательском интерфейсе. В следующей таблице показаны метрики, доступные для поддерживаемых источников потоковой передачи:

source	невыполненные байты	записи невыполненной работы	секунды невыполненной работы	файлы невыполненной работы
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Автозагрузчик	✓			✓
Публикация и подписка Google	✓	✓