Визуальный мониторинг фабрик данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Создав и опубликовав конвейер в фабрике данных Azure, его можно связать с триггером или вручную запустить прямое выполнение. В пользовательском интерфейсе фабрики данных Azure по умолчанию можно отслеживать все выполнения конвейера. Чтобы открыть интерфейс мониторинга, выберите плитку Мониторинг и управление в колонке фабрики данных на портале Azure. Если вы уже находитесь в пользовательском интерфейсе ADF, щелкните значок Монитор на левой боковой панели.

По умолчанию все выполнения фабрики данных отображаются по времени часового пояса, который настроен в браузере. Если вы измените настройки часового пояса, все поля даты и времени автоматически переключатся на новый часовой пояс.

Мониторинг выполнений конвейера

Представление мониторинга по умолчанию — это список запущенных выполнений конвейера за выбранный период времени. Можно изменить диапазон времени и выполнить фильтрацию по состоянию, имени конвейера или заметке. Наведите указатель мыши на конкретное выполнение конвейера, чтобы отобразить действия, связанные с выполнением, такие как повторное выполнение и отчет о потреблении.

Сетка выполнений конвейера содержит следующие столбцы.

Имя столбца	Description
Имя конвейера	Имя конвейера
Run Start	Дата и время начала выполнения конвейера (ММ/ДД/ГГГГ ЧЧ:ММ:СС).
Run End	Дата и время окончания выполнения конвейера (ММ/ДД/ГГГГ, ЧЧ:ММ:СС)
Длительность	Длительность выполнения (ЧЧ:ММ:СС)
Triggered By	Имя триггера, который запускает конвейер.
Состояние	Сбой, Выполнено, Выполняется, Отменено или В очереди.
Заметки	Фильтруемые теги, связанные с конвейером.
Параметры	Параметры для выполнения конвейера (пары "имя-значение").
Ошибка	Если конвейер завершился сбоем, возникнет ошибка выполнения.
Выполнить	Исходный, Повторный запуск или Повторный запуск (последний)
ИД запуска	Идентификатор выполнения конвейера.

Нажмите кнопку Обновить, чтобы обновить список выполнений конвейера и действия. Автоматическое обновление сейчас не поддерживается.

Чтобы просмотреть результаты выполнения отладки, перейдите на вкладку Отладка.

Мониторинг выполнений действий

Чтобы получить подробные сведения об отдельных выполнениях действий конкретного выполнения конвейера, щелкните имя конвейера.

Представление списка отображает выполнения действия, относящихся к каждому выполнению конвейера. Наведите указатель мыши на конкретное выполнение действия, чтобы отобразить относящиеся к выполнению сведения, такие как входные данные JSON, выходные данные JSON и подробные данные мониторинга, связанные с действием.

Имя столбца	Description
Имя действия	Имя действия в конвейере
Тип действия	Тип действия, например Copy, ExecuteDataFlow или AzureMLExecutePipeline.
Действия	Значки, позволяющие просматривать входные данные JSON, выходные данные JSON или подробные сведения о мониторинге действий.
Run Start	Дата и время начала выполнения конвейера (ММ/ДД/ГГГГ ЧЧ:ММ:СС).
Длительность	Длительность выполнения (ЧЧ:ММ:СС)
Состояние	Сбой, Выполнено, В очереди или Отменено.
Integration Runtime	Тип Integration Runtime, использованный для запуска действия.
Свойства пользователя	Свойства действия, определяемые пользователем.
Ошибка	Если действие завершилось сбоем, возникнет ошибка выполнения.
ИД запуска	Идентификатор выполнения действия.

Если действие завершилось сбоем, подробное сообщение об ошибке можно просмотреть, щелкнув значок в столбце "Ошибка".

Распространение свойств пользователя для отслеживания

Можно повысить уровень любого свойства действия конвейера как свойства пользователя, чтобы сделать его сущностью, которую вы можете отслеживать. Например, можно повысить уровень свойств Источник и Назначение действия копирования в конвейере как свойств пользователя.

Примечание.

В качестве свойств пользователя можно повысить уровень только для пяти свойств действия конвейера.

Создав свойства пользователя, их можно отслеживать в представлениях списка мониторинга.

Если источник действия копирования является именем таблицы, можно отслеживать имя исходной таблицы как столбца в представлении списка выполнений действия.

Повторный запуск конвейеров и действий

Поведение действий контейнера при повторном выполнении выглядит следующим образом:

• Wait – действие будет работать как раньше.
• Set Variable – действие будет работать как раньше.
• Filter – действие будет работать как раньше.
• Until Действие оценивает выражение и будет выполняться циклически до тех пор, пока не будет выполнено условие. Внутренние действия все же могут быть пропущены на основе правил повторного запуска.
• Foreach Действие всегда будет циклическим для элементов, которые оно получает. Внутренние действия все же могут быть пропущены на основе правил повторного запуска.
• If and switch – оценка событий будет выполняться всегда. Будут оцениваться все внутренние действия. Внутренние действия по-прежнему могут быть пропущены в соответствии с правилами повторного запуска, но акты, такие как выполнение конвейера, будут повторно выполняться.
• Execute pipeline activity – дочерний конвейер будет активирован, но все действия в дочернем конвейере по-прежнему могут быть пропущены в соответствии с правилами повторного запуска.

Чтобы повторно выполнить конвейер, который ранее выполнялся с самого начала, наведите указатель мыши на конкретное выполнение конвейера и нажмите кнопку Выполнить снова. Если выбрано несколько конвейеров, для выполнения их всех также можно воспользоваться кнопкой Выполнить снова.

Повторное выполнение с определенной точкой можно осуществить в представлении выполнений действий. Выберите действие, с которого нужно начать, и нажмите кнопку Выполнить повторно из действия.

Вы также можете повторно запустить конвейер и изменить параметры. Нажмите кнопку Создать параметры, чтобы изменить параметры.

Примечание.

Повторное выполнение конвейера с новыми параметрами будет считаться новым запуском, поэтому не будет отображаться в группах повторного запуска конвейера.

Перезапуск с действия, завершившегося сбоем

Если действие завершилось сбоем, было отменено или время его ожидания истекло, выполнение конвейера можно повторно запустить с действия, завершившегося сбоем, выбрав пункт Выполнить снова.

Просмотр журнала повторного выполнения

Вы можете просмотреть журнал повторного выполнения для всех выполнений конвейера в представлении списка.

Вы также можете просмотреть журнал повторного выполнения для запуска определенного конвейера.

Мониторинг потребления

Чтобы просмотреть ресурсы, потребляемые при выполнении конвейера, щелкните значок потребления рядом с выполнением.

При щелчке значка откроется отчет о потреблении ресурсов, используемых при выполнении конвейера.

Эти значения можно ввести в калькулятор цен Azure, чтобы оценить затраты на выполнение конвейера. Дополнительные сведения о ценообразовании для фабрики данных Azure см. в статье Изучение ценообразования Фабрики данных Azure посредством примеров.

Примечание.

Значения, возвращаемые калькулятором цен, являются приблизительными. Он не отражает точную сумму оплаты, которая будет взиматься за фабрику данных Azure.

Представления диаграммы Ганта

Диаграмма Ганта — это представление для просмотра истории выполнений за определенный диапазон времени. Переключившись на представление диаграммы Ганта, вы увидите, что все выполнения конвейеров, сгруппированные по именам, отображаются в виде строк в соответствии с длительностью выполнения. Можно также выполнить группирование по заметкам или тегам, созданным в конвейере. Представление диаграммы Ганта также доступно на уровне выполнения действия.

Длина строки указывает длительность конвейера. Можно также выбрать строку, чтобы просмотреть дополнительные сведения.

видны узлы

Вы можете создавать оповещения на основе поддерживаемых метрик фабрики данных. Чтобы приступить к работе, выберите Монитор>Оповещения и метрики на странице мониторинга Фабрики данных.

Уделите 7 минут своего времени, чтобы просмотреть следующее видео с кратким обзором и демонстрацией этой функции.

Создание оповещений

1. Выберите Новое правило генерации оповещения, чтобы создать новое оповещение.

   

2. Укажите имя правила и выберите уровень серьезности оповещения.

   

3. Выберите критерии оповещения.

   

   

   

   Оповещения можно создавать на основе различных метрик, включая число и размер сущностей Фабрики данных Azure, выполнения действия, конвейера и триггера, очереди, числа узлов, объема памяти, загрузки ЦП среды выполнения интеграции, а также выполнения пакетов служб SSIS и операций запуска и отмены SSIS-IR.

4. Настройте логику оповещения. Можно создать оповещение для выбранной метрики для всех конвейеров и соответствующих действий. Можно также выбрать определенный тип действия, имя действия, имя конвейера или тип сбоя.

   

5. Настройте сообщения электронной почты, SMS, push-уведомления и голосовые уведомления для этого оповещения. Создайте группу действий или выберите существующую группу, чтобы получать уведомления об оповещениях.

   

   

6. Создайте правило генерации оповещений.

   

Связанный контент

Дополнительные сведения о мониторинге конвейеров и управлении ими см. в статье Отслеживание фабрики данных Azure с помощью программных средств.