Визуальный мониторинг фабрик данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Создав и опубликовав конвейер в фабрике данных Azure, его можно связать с триггером или вручную запустить прямое выполнение. В интерфейсе пользователя Azure Data Factory можно нативно отслеживать все выполнения конвейера. Чтобы открыть интерфейс мониторинга, выберите плитку Мониторинг и управление в колонке фабрики данных на портале Azure. Если вы уже находитесь в пользовательском интерфейсе ADF, щелкните значок Монитор на левой боковой панели.

По умолчанию все запуски производственной среды отображаются в местном часовом поясе браузера. Если вы измените настройки часового пояса, все поля даты и времени автоматически переключатся на новый часовой пояс.

Мониторинг запусков потока

Представление мониторинга по умолчанию — это список инициированных запусков конвейера за выбранный период времени. Можно изменить диапазон времени и выполнить фильтрацию по состоянию, имени конвейера или заметке. Наведите указатель мыши на конкретное выполнение конвейера, чтобы получить доступ к действиям, таким как повторный запуск и отчет о потреблении.

Таблица запусков конвейера содержит следующие столбцы.

Имя столбца	Description
Имя конвейера	Имя конвейера
Запустить старт	Дата и время начала выполнения конвейера (ММ/ДД/ГГГГ, ЧЧ:ММ:СС дп/пп).
Завершение выполнения	Дата и время окончания запуска конвейера (ММ/ДД/ГГГГ, ЧЧ:ММ:СС в формате дп/пп)
Продолжительность	Длительность выполнения (ЧЧ:ММ:СС)
Вызвано	Имя триггера, который запускает конвейер.
Состояние	Сбой, Выполнено, Выполняется, Отменено или В очереди.
Заметки	Фильтруемые теги, связанные с конвейером.
Параметры	Параметры для запуска конвейера (пары «имя-значение»).
Ошибка	Если конвейер завершился сбоем, возникнет ошибка выполнения.
Выполнить	Исходный, Повторный запуск или Повторный запуск (последний)
идентификатор запуска	Идентификатор запуска конвейера.

Вам необходимо вручную выбрать кнопку Обновить, чтобы обновить список выполнений конвейера и активности. Автоматическое обновление сейчас не поддерживается.

Чтобы просмотреть результаты выполнения отладки, перейдите на вкладку Отладка.

Мониторинг запусков процессов

Чтобы получить подробные сведения об отдельных выполнениях действий конкретного выполнения конвейера, щелкните имя конвейера.

Представление списка показывает запуски действий, соответствующие каждому запуску конвейера. Наведите указатель мыши на конкретный запуск активности, чтобы получить информацию о конкретном запуске, такую как входные данные JSON, выходные данные JSON и подробные данные мониторинга, относящиеся к активности.

Имя столбца	Description
Название действия	Имя активности в конвейере
Тип действия	Тип действия, например Copy, ExecuteDataFlow или AzureMLExecutePipeline.
Действия	Значки, позволяющие просматривать входные данные JSON, выходные данные JSON или подробные сведения о мониторинге действий.
Начать запуск	Дата и время начала выполнения активности (ММ/ДД/ГГГГ, ЧЧ:ММ:СС AM/PM).
Длительность	Длительность выполнения (ЧЧ:ММ:СС)
Состояние	Сбой, Выполнено, В очереди или Отменено.
Среда выполнения интеграции	На каком Integration Runtime выполнялась активность.
Свойства пользователя	Свойства действия, определяемые пользователем.
Ошибка	Если действие завершилось сбоем, возникнет ошибка выполнения процесса.
ИД запуска	Идентификатор выполнения активности.

Если действие завершилось сбоем, подробное сообщение об ошибке можно просмотреть, щелкнув значок в столбце "Ошибка".

Повышение свойств пользователя для отслеживания

Можно выделить любое свойство активности конвейера как пользовательское свойство, чтобы оно стало сущностью, которую вы можете отслеживать. Например, можно сделать свойства Источник и Назначение действия копирования в конвейере доступными в качестве пользовательских.

Примечание.

Можно назначить только до пяти свойств действия конвейера в качестве пользовательских свойств.

Создав свойства пользователя, их можно отслеживать в представлениях списка мониторинга.

Если в качестве источника действия копирования указано имя таблицы, можно отслеживать это имя таблицы как столбец в представлении списка выполнений действия.

Повторный запуск конвейеров и действий

Поведение действий контейнера при повторной работе выглядит в следующем виде:

• Wait – действие будет работать как раньше.
• Set Variable – Активность будет вести себя как раньше.
• Filter – активность будет вести себя как раньше.
• Until Действие оценивает выражение и будет выполняться циклически до тех пор, пока не будет выполнено условие. Внутренние действия все же могут быть пропущены на основе правил повторного запуска.
• Foreach Действие всегда будет циклическим для элементов, которые оно получает. Внутренние действия все же могут быть пропущены на основе правил повторного запуска.
• If and switch – условия будут всегда оцениваться. Будут оцениваться все внутренние действия. Внутренние действия по-прежнему могут быть пропущены в соответствии с правилами повторного запуска, но такие действия, как выполнение конвейера, будут повторно выполняться.
• Execute pipeline activity – дочерний конвейер будет активирован, но все действия в дочернем конвейере по-прежнему могут быть пропущены в соответствии с правилами повторного запуска.

Чтобы повторно выполнить конвейер, который ранее выполнялся с самого начала, наведите указатель мыши на конкретное выполнение конвейера и нажмите кнопку Выполнить снова. Если выбрано несколько конвейеров, для выполнения их всех также можно воспользоваться кнопкой Выполнить снова.

Если вы хотите повторно запустить с определенного момента, вы можете сделать это в представлении выполнения активности. Выберите действие, с которого нужно начать, и выберите Повторить с действия.

Вы также можете повторно запустить конвейер и изменить параметры. Нажмите кнопку Создать параметры, чтобы изменить параметры.

Примечание.

Повторный запуск конвейера с новыми параметрами будет считаться отдельным запуском, поэтому не будет отображаться в группах повторных запусков для данного конвейера.

Перезапуск после сбоя активности

Если действие завершилось сбоем, было отменено или время его ожидания истекло, выполнение конвейера можно повторно запустить с действия, завершившегося сбоем, выбрав пункт Выполнить снова.

Просмотр истории повторных запусков

Вы можете просмотреть историю повторных запусков для всех выполнений конвейера в представлении списка.

Вы также можете просмотреть журнал повторного выполнения для запуска определенного конвейера.

Мониторинг потребления

Чтобы просмотреть ресурсы, потребляемые запуском конвейера, щелкните на иконку рядом с запуском.

При нажатии на значок откроется отчет о потреблении ресурсов, используемых при конкретном выполнении конвейера.

Эти значения можно ввести в калькулятор цен Azure, чтобы оценить затраты на выполнение конвейера. Дополнительные сведения о ценообразовании Azure Data Factory см. в разделе Общие сведения о ценообразовании.

Примечание.

Значения, возвращаемые калькулятором цен, являются приблизительными. Он не отражает точную сумму, которая будет выставлена вам за Azure Data Factory.

Представления диаграммы Ганта

Диаграмма Ганта — это представление для просмотра истории выполнений за определенный диапазон времени. Переключившись на представление диаграммы Ганта, вы увидите, что все выполнения конвейеров, сгруппированные по именам, отображаются в виде строк в соответствии с длительностью выполнения. Можно также выполнить группирование по заметкам или тегам, созданным в вашем потоке обработки данных. Представление диаграммы Ганта также доступно на уровне выполнения действия.

Длина планки определяет длительность конвейера. Можно также выбрать панель, чтобы увидеть детали.

Оповещения

Вы можете создавать оповещения для поддерживаемых метрик в Data Factory. Чтобы приступить к работе, выберите Монитор>Оповещения и метрики на странице мониторинга Фабрики данных.

Уделите 7 минут своего времени, чтобы просмотреть следующее видео с кратким обзором и демонстрацией этой функции.

Создание оповещений

1. Выберите Новое правило генерации оповещения, чтобы создать новое оповещение.

   

2. Укажите имя правила и выберите уровень серьезности оповещения.

   

3. Выберите критерии оповещения.

   

   

   

   Оповещения можно создавать на основе различных метрик, включая число и размер сущностей ADF, выполнение действий/конвейеров/триггеров, использование ЦП/памяти/число узлов/очередь среды выполнения интеграции (IR), а также для выполнения пакетов SSIS и операций запуска и остановки SSIS IR.

4. Настройте логику оповещения. Можно создать оповещение для выбранной метрики для всех конвейеров и соответствующих действий. Можно также выбрать определенный тип действия, имя действия, имя конвейера или тип сбоя.

   

5. Настройте сообщения электронной почты, SMS, push-уведомления и голосовые уведомления для этого оповещения. Создайте группу действий или выберите существующую группу, чтобы получать уведомления об оповещениях.

   

   

6. Создайте правило генерации оповещений.

   

Связанный контент

Дополнительные сведения о мониторинге и управлении конвейерами см. в статье Программное отслеживание и управление конвейерами.