Мониторинг операций служб SSIS с помощью Azure Monitor
Примечание.
Вы можете отслеживать только операцию служб SSIS с помощью Azure Monitor в Фабрика данных Azure, а не в Azure Synapse Pipelines.
Чтобы поднять и сдвинуть рабочие нагрузки SSIS, можно подготавливать IR SSIS в ADF, что поддерживает:
- выполнение пакетов, развернутых в каталоге SSIS (SSISDB), которые размещаются на сервере Базы данных SQL Azure или в Управляемом экземпляре (модель развертывания для проектов);
- выполнение пакетов, развернутых в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), которые размещаются в Управляемом экземпляре SQL Azure (модель развертывания для пакетов).
После подготовки можно проверить состояние работы IR служб SSIS с помощью Azure PowerShell или в центре мониторинга на портале ADF. При использовании модели развертывания проекта журналы выполнения пакетов служб SSIS хранятся во внутренних таблицах и представлениях SSISDB, что позволяет выполнять запросы, анализировать и визуально представлять их с помощью определенных средств, таких как SSMS. При использовании модели развертывания пакетов журналы выполнения пакетов служб SSIS могут храниться в файловой системе или в Файлах Azure в виде CSV-файлов, которые необходимо проанализировать и обработать с помощью других назначенных средств, прежде чем можно будет выполнять запросы, анализировать и визуально представлять их.
Теперь с интеграцией Azure Monitor можно запрашивать, анализировать и визуально представлять все метрики и журналы, созданные с помощью IR-операций служб SSIS и выполнения пакетов служб SSIS, на портале Azure. Кроме того, по ним можно создавать оповещения.
Настройка параметров диагностики и рабочей области для операций служб SSIS
Чтобы отправлять все метрики и журналы, созданные с помощью IR-операций служб SSIS и выполнения пакетов служб SSIS, в Azure Monitor, необходимо настроить параметры диагностики и рабочую область для ADF.
Операционные метрики служб SSIS
Операционные метрики служб SSIS — это счетчики производительности или числовые значения, описывающие состояние операций запуска и завершения IR служб SSIS, а также выполнение пакетов служб SSIS в определенный момент времени. Они входят в состав метрик ADF в Azure Monitor.
При настройке параметров диагностики и рабочей области для ADF в Azure Monitor в поле "Все метрики" проверка будут доступны операционные метрики служб SSIS для интерактивного анализа с помощью обозревателя метрик Azure, презентации на панели мониторинга Azure и оповещений практически в реальном времени.
Операционные оповещения служб SSIS
Чтобы создавать оповещения для операционных метрик служб SSIS на портале ADF, выберите страницу Оповещения и метрики центра мониторинга ADF и следуйте пошаговым инструкциям.
Чтобы создавать оповещения для операционных метрик служб SSIS на портале Azure, выберите страницу Оповещения и метрики центра мониторинга ADF и следуйте пошаговым инструкциям.
Журналы операций служб SSIS
Журналы операций служб SSIS — это события, создаваемые IR-операциями служб SSIS и выполнения пакетов служб SSIS, которые обеспечивают достаточный контекст при обнаруженных проблемах и полезны для анализа основных причин.
При настройке параметров диагностики и рабочей области для ADF в Azure Monitor можно выбрать соответствующие рабочие журналы служб SSIS и отправить их Log Analytics на основе обозревателя данных Azure. В нем они будут доступны для анализа с помощью расширенного языка запросов, представления на панели мониторинга Azureи оповещений практически в реальном времени.
Схемы и содержимое журналов выполнения пакетов служб SSIS в Azure Monitor и Log Analytics похожи на схемы внутренних таблиц и представлений SSISDB.
| Категории журналов Azure Monitor | Таблицы Log Analytics | Внутренние таблицы и представления SSISDB |
|---|---|---|
SSISIntegrationRuntimeLogs |
ADFSSISIntegrationRuntimeLogs |
|
SSISPackageEventMessageContext |
ADFSSISPackageEventMessageContext |
[internal].[event_message_context] |
SSISPackageEventMessages |
ADFSSISPackageEventMessages |
[internal].[event_messages] |
SSISPackageExecutableStatistics |
ADFSSISPackageExecutableStatistics |
[internal].[executable_statistics] |
SSISPackageExecutionComponentPhases |
ADFSSISPackageExecutionComponentPhases |
[internal].[execution_component_phases] |
SSISPackageExecutionDataStatistics |
ADFSSISPackageExecutionDataStatistics |
[internal].[execution_data_statistics] |
Дополнительные сведения об атрибутах и свойствах журнала служб SSIS см. в разделе Схемы Azure Monitor и Log Analytics для ADF.
Выбранные журналы выполнения пакетов служб SSIS всегда отправляются в Log Analytics независимо от их методов вызова. Например, можно вызывать выполнение пакетов с поддержкой Azure с помощью T-SQL в SSMS, агента SQL Server или других назначенных средств, а также в качестве активированных триггером или отладочных запусков действий по выполнению пакетов служб SSIS в конвейерах ADF.
При запросе журналов IR-операций для служб SSIS в журналах аналитики можно использовать свойства OperationName и ResultType, для которых заданы значения Start/Stop/Maintenance/Heartbeat и Started/InProgress/Succeeded/Failed/Healthy/Unhealthy соответственно.
Для запроса состояния узла среды выполнения интеграции службы Integration Services можно установить для свойства OperationName значение Heartbeat. Каждый узел обычно передает одну запись Heartbeat в минуту в Log Analytics со свойством ResultType, отражающим статус, который имеет значение Healthy, если выполнение пакета доступно, и Unhealthy, если нет. Например, если ваша среда выполнения интеграции службы Integration Services содержит два доступных узла, вы всегда будете видеть две Heartbeat записи со свойством ResultType, установленным в значение Healthy, в пределах любого одноминутного периода.
Вы можете запросить следующие шаблоны, чтобы обнаружить недоступность ваших узлов среды выполнения интеграции службы Integration Services:
- В течение многих одноминутных периодов отсутствует
Heartbeatзаписей, если все еще выполняется среда выполнения интеграции службы Integration Services. - В течение многих одноминутных периодов присутствует
Heartbeatзаписей со свойством ResultType, установленным в значениеUnhealthy, если все еще выполняется среда выполнения интеграции службы Integration Services.
Вы можете преобразовать вышеупомянутые запросы в оповещения и перейти к вашей странице мониторинга среды выполнения интеграции службы Integration Services, чтобы подтвердить момент получения вами этих оповещений.
При запросе журналов выполнения пакетов служб SSIS в службе Logs Analytics их можно объединить с помощью свойств OperationId/ExecutionId/CorrelationId. Для OperationId/ExecutionId всегда задано значение 1 для всех операций и выполнений, связанных с пакетами, которые не хранятся в SSISDB или вызываются через T-SQL.
