Мониторинг операций служб SSIS с помощью Azure Monitor

Примечание.

Вы можете отслеживать только операцию служб SSIS с помощью Azure Monitor в Фабрика данных Azure, а не в Azure Synapse Pipelines.

Чтобы поднять и сдвинуть рабочие нагрузки SSIS, можно подготавливать IR SSIS в ADF, что поддерживает:

• выполнение пакетов, развернутых в каталоге SSIS (SSISDB), которые размещаются на сервере Базы данных SQL Azure или в Управляемом экземпляре (модель развертывания для проектов);
• выполнение пакетов, развернутых в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), которые размещаются в Управляемом экземпляре SQL Azure (модель развертывания для пакетов).

После подготовки можно проверить состояние работы IR служб SSIS с помощью Azure PowerShell или в центре мониторинга на портале ADF. При использовании модели развертывания проекта журналы выполнения пакетов служб SSIS хранятся во внутренних таблицах и представлениях SSISDB, что позволяет выполнять запросы, анализировать и визуально представлять их с помощью определенных средств, таких как SSMS. При использовании модели развертывания пакетов журналы выполнения пакетов служб SSIS могут храниться в файловой системе или в Файлах Azure в виде CSV-файлов, которые необходимо проанализировать и обработать с помощью других назначенных средств, прежде чем можно будет выполнять запросы, анализировать и визуально представлять их.

Теперь с интеграцией Azure Monitor можно запрашивать, анализировать и визуально представлять все метрики и журналы, созданные с помощью IR-операций служб SSIS и выполнения пакетов служб SSIS, на портале Azure. Кроме того, по ним можно создавать оповещения.

Настройка параметров диагностики и рабочей области для операций служб SSIS

Чтобы отправлять все метрики и журналы, созданные с помощью IR-операций служб SSIS и выполнения пакетов служб SSIS, в Azure Monitor, необходимо настроить параметры диагностики и рабочую область для ADF.

Операционные метрики служб SSIS

Операционные метрики служб SSIS — это счетчики производительности или числовые значения, описывающие состояние операций запуска и завершения IR служб SSIS, а также выполнение пакетов служб SSIS в определенный момент времени. Они входят в метрики Azure Monitor.

При настройке параметров диагностики и рабочей области для ADF в Azure Monitor установите флажок "Все метрики " сделать операционные метрики SSIS доступными для интерактивного анализа с помощью обозревателя метрик Azure, презентации на панели мониторинга Azure и оповещений практически в реальном времени.

Операционные оповещения служб SSIS

Чтобы создавать оповещения для операционных метрик служб SSIS на портале ADF, выберите страницу Оповещения и метрики центра мониторинга ADF и следуйте пошаговым инструкциям.

Чтобы создавать оповещения для операционных метрик служб SSIS на портале Azure, выберите страницу Оповещения и метрики центра мониторинга ADF и следуйте пошаговым инструкциям.

Журналы операций служб SSIS

Журналы операций служб SSIS — это события, создаваемые IR-операциями служб SSIS и выполнения пакетов служб SSIS, которые обеспечивают достаточный контекст при обнаруженных проблемах и полезны для анализа основных причин.

При настройке параметров диагностики и рабочей области для ADF в Azure Monitor можно выбрать соответствующие рабочие журналы служб SSIS и отправить их Log Analytics на основе обозревателя данных Azure. В нем они будут доступны для анализа с помощью расширенного языка запросов, представления на панели мониторинга Azureи оповещений практически в реальном времени.

Схемы и содержимое журналов выполнения пакетов служб SSIS в Azure Monitor и Log Analytics похожи на схемы внутренних таблиц и представлений SSISDB.

Категории журналов Azure Monitor	Таблицы Log Analytics	Внутренние таблицы и представления SSISDB
SSISIntegrationRuntimeLogs	ADFSSISIntegrationRuntimeLogs
SSISPackageEventMessageContext	ADFSSISPackageEventMessageContext	[internal].[event_message_context]
SSISPackageEventMessages	ADFSSISPackageEventMessages	[internal].[event_messages]
SSISPackageExecutableStatistics	ADFSSISPackageExecutableStatistics	[internal].[executable_statistics]
SSISPackageExecutionComponentPhases	ADFSSISPackageExecutionComponentPhases	[internal].[execution_component_phases]
SSISPackageExecutionDataStatistics	ADFSSISPackageExecutionDataStatistics	[internal].[execution_data_statistics]

Дополнительные сведения об атрибутах и свойствах операционного журнала служб SSIS см . в журналах ресурсов.

Выбранные журналы выполнения пакетов служб SSIS всегда отправляются в Log Analytics независимо от их методов вызова. Например, можно вызывать выполнение пакетов с поддержкой Azure с помощью T-SQL в SSMS, агента SQL Server или других назначенных средств, а также в качестве активированных триггером или отладочных запусков действий по выполнению пакетов служб SSIS в конвейерах ADF.

При запросе журналов IR-операций для служб SSIS в журналах аналитики можно использовать свойства OperationName и ResultType, для которых заданы значения Start/Stop/Maintenance/Heartbeat и Started/InProgress/Succeeded/Failed/Healthy/Unhealthy соответственно.

Для запроса состояния узла среды выполнения интеграции службы Integration Services можно установить для свойства OperationName значение Heartbeat. Каждый узел обычно передает одну запись Heartbeat в минуту в Log Analytics со свойством ResultType, отражающим статус, который имеет значение Healthy, если выполнение пакета доступно, и Unhealthy, если нет. Например, если ваша среда выполнения интеграции службы Integration Services содержит два доступных узла, вы всегда будете видеть две Heartbeat записи со свойством ResultType, установленным в значение Healthy, в пределах любого одноминутного периода.

Вы можете запросить следующие шаблоны, чтобы обнаружить недоступность ваших узлов среды выполнения интеграции службы Integration Services:

• В течение многих одноминутных периодов отсутствует Heartbeat записей, если все еще выполняется среда выполнения интеграции службы Integration Services.
• В течение многих одноминутных периодов присутствует Heartbeat записей со свойством ResultType, установленным в значение Unhealthy, если все еще выполняется среда выполнения интеграции службы Integration Services.

Вы можете преобразовать вышеупомянутые запросы в оповещения и перейти к вашей странице мониторинга среды выполнения интеграции службы Integration Services, чтобы подтвердить момент получения вами этих оповещений.

При запросе журналов выполнения пакетов служб SSIS в службе Logs Analytics их можно объединить с помощью свойств OperationId/ExecutionId/CorrelationId. Для OperationId/ExecutionId всегда задано значение 1 для всех операций и выполнений, связанных с пакетами, которые не хранятся в SSISDB или вызываются через T-SQL.

Связанный контент

Схема журналов и событий