Мониторинг Фабрики данных Azure

В этой статье рассматриваются следующие вопросы:

• Типы данных мониторинга, которые можно собирать для этой службы.
• Способы анализа данных.

Note

Если вы уже знакомы с этой службой и (или) Azure Monitor и просто хотите знать, как анализировать данные мониторинга, см. раздел "Анализ " в конце этой статьи.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

• Дополнительные сведения об Azure Monitor см. в Обзоре Azure Monitor.
• Дополнительные сведения о том, как отслеживать ресурсы Azure в целом, см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor.

Методы мониторинга

Существует несколько способов мониторинга фабрики данных Azure.

Студия фабрики данных Azure

Вы можете нативно отслеживать все запуски конвейеров в Azure Data Factory Studio. Чтобы открыть интерфейс мониторинга, выберите "Запустить Студию" на странице "Фабрика данных" на портале Azure и в Студии фабрики данных Azure выберите "Монитор " в меню слева.

Дополнительные сведения о мониторинге в Azure Data Factory Studio см. в следующих статьях:

• Визуальный мониторинг фабрик данных Azure
• Мониторинг потока данных
• Мониторинг активности копирования
• Журнал сеансов в процессе копирования

Azure portal

Вы также можете отслеживать фабрику данных Azure непосредственно на портале Azure. На странице обзора портала Azure для фабрики данных отображаются несколько графов метрик. В меню левой боковой панели можно получить доступ к журналу действий Azure или выбрать оповещения, метрики, параметры диагностики или журналы из раздела "Мониторинг ".

Мониторинг программным способом

Конвейеры фабрики данных можно отслеживать программными средствами с помощью .NET, PowerShell, Python или REST API. Дополнительные сведения см. в следующих статьях:

• Программный мониторинг Azure Data Factory
• Настройка журналов диагностики с помощью REST API для Azure Monitor

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, для виртуальной машины используется Microsoft.Compute/virtualMachinesодин тип ресурса. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично упорядочивает основные данные мониторинга в метрики и журналы на основе типов ресурсов, которые также называются пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Дополнительные сведения о типах ресурсов фабрики данных Azure см. в справочнике по данным мониторинга фабрики данных.

Хранилище данных

Для Azure Monitor:

• Данные метрик хранятся в базе данных метрик Azure Monitor.
• Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это инструмент в портале Azure, который может выполнять запросы к этому хранилищу.
• Журнал действий Azure — это отдельное хранилище с собственным интерфейсом на портале Azure.

При необходимости можно перенаправить данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примеры включают службу хранилища Azure, системы партнеров, размещенные в облаке и системы партнеров, не относящиеся к Azure, использующие Центры событий.

Подробные сведения о том, как Azure Monitor хранит данные, см. на платформе данных Azure Monitor.

Хранение данных о запуске платформы Data Factory

Фабрика данных хранит данные запуска конвейера только в течение 45 дней. Используйте Azure Monitor для маршрутизации журналов диагностики, если вы хотите сохранить данные дольше.

Перенаправите данные в Log Analytics, если вы хотите проанализировать их с помощью сложных запросов, создать пользовательские оповещения или отслеживать в разных фабриках данных. Данные можно направлять из нескольких фабрик данных в одну рабочую область Log Analytics.

Вы можете использовать учетную запись хранения или пространство имен концентратора событий, которое не входит в подписку ресурса, который выдает журналы. Пользователь, который настраивает параметры, должен иметь соответствующий доступ к ролям Azure (Azure RBAC) для обеих подписок.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

• Определяется отдельно для каждого пространства имен.
• Хранится в базе данных метрик временных рядов Azure Monitor.
• Лёгкий и может поддерживать оповещения практически в режиме реального времени.
• Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Настройка не требуется.

Маршрутизация: Вы также можете направлять часть метрик платформы в журналы Azure Monitor или Log Analytics, чтобы выполнять запросы к ним вместе с другими данными журнала. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor или Log Analytics.

• Дополнительные сведения см. в настройках диагностики метрик.
• Сведения о настройке параметров диагностики для службы см. в статье "Создание параметров диагностики" в Azure Monitor.

Список всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. в статье "Поддерживаемые метрики в Azure Monitor".

Список доступных метрик для фабрики данных см. в справочнике по данным мониторинга фабрики данных.

Журналы ресурсов Azure Monitor

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Логи организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Сбор данных: Журналы ресурсов не собираются и не хранятся, пока вы не создадите диагностическую настройку и не перенаправите журналы в одно или несколько местоположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и поддержания параметров диагностики, включая портал Azure, программно и с помощью политики Azure.

Маршрутизация: рекомендуется по умолчанию маршрутизировать журналы ресурсов в Azure Monitor Logs, чтобы иметь возможность выполнять запросы к ним вместе с другими данными журналов. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения см. в журналах ресурсов Azure и местах назначения журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовков, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

• Доступные категории журналов ресурсов службы Data Factory, связанные таблицы Log Analytics и схемы журналов можно найти в справочнике по данным мониторинга службы Data Factory.

• Сведения о настройке параметров диагностики и рабочей области Log Analytics для мониторинга фабрики данных см. в разделе "Настройка параметров диагностики" и рабочей области.

Журнал действий Azure

Журнал действий включает события на уровне подписки, которые отслеживают операции для каждого ресурса Azure, как они видны из внешней среды; например, создание нового ресурса или активация виртуальной машины.

Сбор данных: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра на портале Azure.

Маршрутизация. Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о маршрутизации журнала действий см. в разделе "Обзор журнала действий Azure".

Мониторинг сред выполнения интеграции

Среда выполнения интеграции — это вычислительная инфраструктура Data Factory, используемая для предоставления возможностей интеграции данных в различных сетевых средах. Фабрика данных предлагает несколько типов сред выполнения интеграции:

• Среда выполнения интеграции Azure
• Локальная среда выполнения интеграции
• среда выполнения интеграции служб Azure-SQL Server Integration Services (SSIS)
• Среда выполнения интеграции Apache Airflow

Azure Monitor собирает метрики и журналы диагностики для всех типов сред выполнения интеграции. Подробные инструкции по мониторингу сред выполнения интеграции см. в следующих статьях:

• Мониторинг среды выполнения интеграции в фабрике данных Azure
• Мониторинг среды выполнения интеграции в управляемой виртуальной сети
• Мониторинг локальной среды выполнения интеграции в Azure
• Настройка локальной среды выполнения интеграции для коллекции log analytics
• Мониторинг операций служб SSIS с помощью Azure Monitor
• Журналы диагностики и метрики для Apache Airflow

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

Средства Azure Monitor

Azure Monitor поддерживает следующие основные средства:

• Обозреватель метрик — это средство в портале Azure, позволяющее просматривать и анализировать метрики для ресурсов Azure. Дополнительные сведения см. в разделе "Анализ метрик" с помощью обозревателя метрик Azure Monitor.

• Log Analytics— средство на портале Azure, позволяющее запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в статье Начало работы с запросами журналов в Azure Monitor.

• Журнал действий, имеющий пользовательский интерфейс в портале Azure для просмотра и выполнения базовых поисковых запросов. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

• Панели мониторинга, позволяющие объединять различные виды данных в одну панель в портале Azure.
• Рабочие книги — это настраиваемые отчеты, которые можно создать в портале Azure. Рабочие книги могут включать текст, метрики и лог-запросы.
• Grafana — инструмент с открытой платформой, который превосходно подходит для операционных панелей мониторинга. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
• Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

Инструменты экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

• Метрики. Используйте REST API для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Дополнительные сведения см. в справочнике по REST API Azure Monitor.

• Журналы: используйте REST API или соответствующие клиентские библиотеки.

• Другим вариантом является экспорт данных рабочей области.

Чтобы начать работать с REST API для Azure Monitor, смотрите Пошаговое руководство по REST API для мониторинга Azure.

Подробные инструкции по настройке журналов диагностики с помощью REST API см. в статье Настройка журналов диагностики с помощью REST API Azure Monitor.

Запросы для Kusto

Данные мониторинга можно анализировать в хранилище журналов Azure Monitor или Log Analytics с помощью языка запросов Kusto (KQL).

Important

При выборе Logs в меню службы на портале открывается Log Analytics с областью запроса, установленной для текущей службы. Эта область означает, что запросы журналов будут включать только данные из этого типа ресурса. Если вы хотите выполнить запрос, содержащий данные из других служб Azure, выберите журналы в меню Azure Monitor . Для получения дополнительных сведений см. область запросов журнала и диапазон времени в Azure Monitor Log Analytics.

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

Например, выберите Журналы в разделе Мониторинг в левой области навигации на странице Фабрики данных на портале Azure, а затем выберите вкладку Запросы. Ниже приведены некоторые примеры запросов:

Доступность PipelineRuns: информирует о доступности запусков этого конвейера.

ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count())  by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart

Действие показывает 5 основных сбоев: отображает пять действий, сбой которых связан с ошибками системы.

ADFActivityRun 
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName  in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart

Последний статус запусков конвейера: возвращает последний статус выполнения конвейера.

ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId

Alerts

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в оповещениях Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространённых оповещений для ресурсов Azure см. в примерах запросов журнала оповещений. Сайт Azure Monitor Baseline Alerts (AMBA) предоставляет полуавтоматизированный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Этот сайт относится к постоянно расширяющемуся подмножеству служб Azure, включая все службы, которые являются частью Azure Landing Zone (ALZ).

Общая схема оповещений стандартизирует обработку уведомлений системы Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Типов оповещений

Вы можете настроить оповещения на любую метрику или источник данных в платформе Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе "Выбор правильного типа оповещений мониторинга".

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

• Оповещения на основе метрик оценивают показатели ресурсов с регулярными интервалами. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики или метриками Application Insights. Оповещения на основе метрик также могут применять несколько условий и динамические пороговые значения.
• Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов с заданной частотой.
• Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения о состоянии ресурсов и оповещения о состоянии служб — это оповещения журнала действий, которые сообщают о состоянии ваших ресурсов и служб.

Некоторые службы Azure также поддерживают оповещения интеллектуального обнаружения, оповещения Prometheus или рекомендуемые правила генерации оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Правила оповещений Data Factory

Чтобы создать оповещения и управлять ими, выберите "Оповещения" в разделе "Мониторинг" в левой части страницы фабрики данных на портале Azure.

В следующей таблице перечислены популярные правила генерации оповещений для фабрики данных. Это просто рекомендуемый список. Вы можете задать оповещения для любой метрики, записи журнала или записи журнала действий, указанной в справочнике по данным мониторинга Data Factory.

Тип оповещения	Condition	Description
Metric	Метрики неудачных запусков конвейеров	Каждый раз, когда общее число неудачных запусков конвейера больше 0,
Metric	Общее число сущностей	Каждый раз, когда максимальное общее количество сущностей превышает 1700000
Metric	Максимально допустимое число сущностей	Каждый раз, когда максимальный размер фабрики (единица ГБ) превышает 6

Уведомления обеспечивают упреждающее оповещение во время или после выполнения конвейера.

• Отправка сообщения электронной почты в рамках конвейера Фабрики данных Azure показывает, как настроить уведомления электронной почты об оповещениях конвейера.

Рекомендации помощника

Для некоторых служб, если во время операций ресурсов происходят критические условия или неизбежные изменения, на странице Обзор службы в портале отображается оповещение. Вы можете найти дополнительную информацию и рекомендуемые исправления для оповещения в рекомендациях Консультанта в разделе Мониторинг в меню слева. Во время обычных операций рекомендации помощника не отображаются.

Дополнительные сведения о Azure Advisor см. в разделе обзор продукта Azure Advisor.

Связанный контент

• Дополнительные сведения о метриках, журналах и других важных значениях, созданных для фабрики данных, см. в справочнике по данным мониторинга фабрики данных.
• Общие сведения о мониторинге ресурсов Azure см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor .