Мониторинг конвейеров Фабрики данных Azure

  • 7 мин

Созданный и опубликованный конвейер в Фабрике данных Azure можно связать с триггером или вручную запустить выполнение по требованию. В пользовательском интерфейсе фабрики данных Azure по умолчанию можно отслеживать все выполнения конвейера. Чтобы открыть интерфейс мониторинга, выберите плитку Мониторинг и управление в колонке фабрики данных на портале Azure. Если вы уже находитесь в пользовательском интерфейсе Фабрики данных Azure, щелкните значок Мониторинг на левой боковой панели.

Мониторинг выполнений конвейера

Представление мониторинга по умолчанию — это список запущенных выполнений конвейера за выбранный период времени. Можно изменить диапазон времени и выполнить фильтрацию по состоянию, имени конвейера или заметке. Наведите указатель мыши на конкретное выполнение конвейера, чтобы отобразить действия, связанные с выполнением, такие как повторное выполнение и отчет о потреблении.

List view for monitoring pipeline runs

Сетка выполнений конвейера содержит следующие столбцы.

Имя столбца Description
Имя конвейера Имя конвейера
Run Start Дата и время начала выполнения конвейера (ММ/ДД/ГГГГ ЧЧ:ММ:СС).
Run End Дата и время окончания выполнения конвейера (ММ/ДД/ГГГГ, ЧЧ:ММ:СС)
Длительность Длительность выполнения (ЧЧ:ММ:СС)
Triggered By Имя триггера, который запускает конвейер.
Состояние Сбой, Выполнено, Выполняется, Отменено или В очереди.
Заметки Фильтруемые теги, связанные с конвейером.
Параметры Параметры для выполнения конвейера (пары "имя-значение").
Ошибка Если конвейер завершился сбоем, возникнет ошибка выполнения.
ИД запуска Идентификатор выполнения конвейера.

Нажмите кнопку Обновить, чтобы обновить список выполнений конвейера и действия. Автоматическое обновление сейчас не поддерживается.

Refresh button

Чтобы просмотреть результаты выполнения отладки, перейдите на вкладку Отладка.

Select the View active debug runs icon

Мониторинг выполнений действий

Чтобы получить подробные сведения об отдельных выполнениях действий конкретного выполнения конвейера, щелкните имя конвейера.

View activity runs

Представление списка отображает выполнения действия, относящихся к каждому выполнению конвейера. Наведите указатель мыши на конкретное выполнение действия, чтобы отобразить относящиеся к выполнению сведения, такие как входные данные JSON, выходные данные JSON и подробные данные мониторинга, связанные с действием. Такие действия, как поток данных, копирование и Azure Databricks, имеют выделенное представление, которое можно увидеть, щелкнув значок с изображением очков.

View the activity runs in the monitoring tool

Имя столбца Description
Имя действия Имя действия в конвейере
Тип действия Тип действия, например Copy, ExecuteDataFlow или AzureMLExecutePipeline.
Действия Значки, позволяющие просматривать входные данные JSON, выходные данные JSON или подробные сведения о мониторинге действий.
Run Start Дата и время начала выполнения конвейера (ММ/ДД/ГГГГ ЧЧ:ММ:СС).
Длительность Длительность выполнения (ЧЧ:ММ:СС)
Состояние Сбой, Выполнено, В очереди или Отменено.
Integration Runtime Тип Integration Runtime, использованный для запуска действия.
Свойства пользователя Свойства действия, определяемые пользователем.
Ошибка Если действие завершилось сбоем, возникнет ошибка выполнения.
ИД запуска Идентификатор выполнения действия.

Если действие завершилось сбоем, подробное сообщение об ошибке можно просмотреть, щелкнув значок в столбце "Ошибка".

Viewing activity run errors

Представление диаграммы Ганта

Диаграмма Ганта — это представление для просмотра истории выполнений за определенный диапазон времени. Переключившись на представление диаграммы Ганта, вы увидите, что все выполнения конвейеров, сгруппированные по именам, отображаются в виде строк в соответствии с длительностью выполнения. Можно также выполнить группирование по заметкам или тегам, созданным в конвейере. Представление диаграммы Ганта также доступно на уровне выполнения действия.

Example of a Gantt chart

Длина строки указывает длительность конвейера. Можно также выбрать строку, чтобы просмотреть дополнительные сведения.

Gantt chart duration

Мониторинг сеансов отладки потока данных

Потоки данных для сопоставления позволяют создавать логику преобразования данных без написания кода, которая выполняется в большом масштабе. При разработке логики можно включить сеанс отладки для интерактивной работы с данными с помощью активного кластера Spark.

Активные сеансы отладки потока данных в фабрике можно отслеживать на странице Мониторинг.

View data flow debug sessions

Мониторинг панелей мониторинга

Чтобы увидеть высокоуровневое визуальное отображение выполнений конвейера, действия и триггера, перейдите на панель Панели мониторинга. Здесь приводится количество успешных и неудачных попыток выполнений за указанный период времени.

reading the monitor dashboard

Мониторинг с помощью Azure Monitor

Azure Monitor предоставляет метрики инфраструктуры базового уровня, а также журналы для большинства служб Azure. Журналы диагностики Azure выдаются ресурсом. Они содержат подробные и своевременные данные о работе этого ресурса. Фабрика данных Azure (ADF) может записывать журналы диагностики в Azure Monitor.

Данные выполнения конвейера хранятся в Фабрике данных только в течение 45 дней. Azure Monitor позволяет удерживать эти данные более длительное время. С помощью Azure Monitor можно направлять журналы диагностики для анализа в несколько разных целевых объектов.

  • Учетная запись хранения. Сохраняйте журналы диагностики в учетную запись хранения для аудита или проверки вручную. С помощью параметров диагностики можно указать время хранения в днях.
  • Центр событий. Выполняйте потоковую передачу журналов в Центры событий Azure. Журналы становятся входными данными для партнерской службы или пользовательского аналитического решения, например Power BI.
  • Log Analytics. Анализируйте журналы с помощью Log Analytics. Интеграция фабрики данных с Azure Monitor полезна в следующих сценариях:
    • Требуется создавать сложные запросы на основе широкого набора метрик, публикуемых Фабрикой данных в Azure Monitor. С помощью Azure Monitor на основе этих запросов можно создавать настраиваемые оповещения.
    • Требуется отслеживать фабрики данных. Можно направлять данные из нескольких фабрик данных в одну рабочую область Azure Monitor.

Можно также использовать учетную запись хранения или пространство имен Центра событий, которые не входят в подписку ресурса, выдающего журналы. Пользователь, который настраивает этот параметр, должен иметь соответствующие права доступа на основе ролей (Azure RBAC) к обеим подпискам.

Настройка параметров диагностики и рабочей области

Создайте или добавьте параметры диагностики для фабрики данных.

  1. На портале перейдите на страницу "Мониторинг". Выберите Параметры>Параметры диагностики.

  2. Выберите фабрику данных, для которой необходимо задать параметр диагностики.

  3. Если параметров для выбранной фабрики данных не существует, вам будет предложено создать параметр. Выберите Включить диагностику.

Create a diagnostic setting if no settings exist

Если в фабрике данных имеются параметры, отобразится список уже настроенных параметров. Выберите Добавить параметр диагностики.

Add a diagnostic setting if settings exist

  1. Присвойте параметру имя, установите флажок Отправить в Log Analytics, а затем в разделе Рабочая область Log Analytics выберите рабочую область.

    • В режиме Диагностика Azure журналы диагностики поступают в таблицу AzureDiagnostics.

    • В режиме Для конкретного ресурса журналы диагностики из Фабрики данных Azure поступают в следующие таблицы.

      • ADFActivityRun
      • ADFPipelineRun
      • ADFTriggerRun
      • ADFSSISIntegrationRuntimeLogs
      • ADFSSISPackageEventMessageContext
      • ADFSSISPackageEventMessagesages
      • ADFSSISPackageExecutableStatistics
      • ADFSSISPackageExecutionComponentPhases
      • ADFSSISPackageExecutionDataStatistics

      Для отправки в таблицы Log Analytics можно выбрать различные журналы, связанные с имеющимися рабочими нагрузками. Например, если вы вообще не используете службы SSIS, журналы служб SSIS выбирать не нужно. Если вы хотите вести журнал операций запуска, остановки и обслуживания служб SSIS-IR, можно выбрать журналы SSIS-IR. При вызове выполнений пакетов служб SSIS с помощью T-SQL в SQL Server Management Studio (SSMS), агента SQL Server или других средств можно выбрать журналы пакетов служб SSIS. При вызове выполнения пакетов служб SSIS с помощью действий выполнения пакета служб SSIS в конвейерах ADF можно выбрать все журналы.

    • Если выбрать значение AllMetrics, будут доступны различные метрики Фабрики данных Azure для мониторинга или создания оповещений, включая метрики для выполнений действия, конвейера и триггера Фабрики данных Azure, а также для операций SSIS-IR и выполнений пакетов служб SSIS.

Name your settings and select a log-analytics workspace

> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.
  1. Выберите Сохранить.

Через несколько секунд в списке параметров для этой фабрики данных появится новый параметр. Журналы диагностики будут передаваться в эту рабочую область сразу после создания данных о событиях. С момента создания события до его отображения в Log Analytics может пройти до 15 минут.