Monitorizar as operações do SSIS com o Azure Monitor
Nota
Você só pode monitorar a operação do SSIS com o Azure Monitor no Azure Data Factory, não no Azure Synapse Pipelines.
Para elevar e deslocar suas cargas de trabalho do SSIS, você pode provisionar o SSIS IR no ADF que suporta:
- Pacotes em execução implementados no catálogo do SSIS (SSISDB) alojado pelo servidor/Instância Gerida da Base de Dados SQL do Azure (Modelo de Implementação de Projetos)
- Pacotes em execução implementados no sistema de ficheiros, Ficheiros do Azure ou base de dados do SQL Server (MSDB) alojados pelo Azure SQL Managed Instance (Modelo de Implementação de Pacotes)
Depois de provisionado, você pode verificar o status operacional do IR do SSIS usando o Azure PowerShell ou no hub Monitor do portal do ADF. Com o Modelo de Implantação de Projeto, os logs de execução do pacote SSIS são armazenados em tabelas ou exibições internas do SSISDB, para que você possa consultá-los, analisá-los e apresentá-los visualmente usando ferramentas designadas como o SSMS. Com o Modelo de Implantação de Pacote, os logs de execução de pacotes SSIS podem ser armazenados no sistema de arquivos ou nos Arquivos do Azure como arquivos CSV que você ainda precisa analisar e processar usando outras ferramentas designadas antes de poder consultá-los, analisá-los e apresentá-los visualmente.
Agora, com a integração do Azure Monitor , você pode consultar, analisar e apresentar visualmente todas as métricas e logs gerados a partir de operações de IR do SSIS e execuções de pacotes do SSIS no portal do Azure. Além disso, você também pode gerar alertas sobre eles.
Definir configurações de diagnóstico e espaço de trabalho para operações SSIS
Para enviar todas as métricas e logs gerados a partir de operações de IR do SSIS e execuções de pacotes do SSIS para o Azure Monitor, você precisa definir as configurações de diagnóstico e o espaço de trabalho para seu ADF.
Métricas operacionais do SSIS
As métricas operacionais do SSIS são contadores de desempenho ou valores numéricos que descrevem o status das operações de início e parada do SSIS IR, bem como as execuções de pacotes do SSIS em um determinado momento. Eles fazem parte das métricas do Azure Monitor.
Quando você define as configurações de diagnóstico e o espaço de trabalho para seu ADF no Azure Monitor, marcar a caixa de seleção AllMetrics disponibilizará as métricas operacionais do SSIS para análise interativa usando o explorador de métricas do Azure, a apresentação no painel do Azure e alertas quase em tempo real.
Alertas operacionais do SSIS
Para gerar alertas sobre métricas operacionais do SSIS no portal do ADF, selecione a página Alertas e métricas do hub do ADF Monitor e siga as instruções passo a passo fornecidas.
Para gerar alertas sobre métricas operacionais do SSIS no portal do Azure, selecione a página Alertas do hub do Azure Monitor e siga as instruções passo a passo fornecidas.
Logs operacionais do SSIS
Os logs operacionais do SSIS são eventos gerados por operações de IR do SSIS e execuções de pacotes do SSIS que fornecem contexto suficiente sobre quaisquer problemas identificados e são úteis para a análise da causa raiz.
Ao definir as configurações de diagnóstico e o espaço de trabalho para seu ADF no Azure Monitor, você pode selecionar os logs operacionais relevantes do SSIS e enviá-los para o Log Analytics baseado no Azure Data Explorer. Lá, eles serão disponibilizados para análise usando linguagem de consulta avançada, apresentação no painel do Azure e alertas quase em tempo real.
Os esquemas e o conteúdo dos logs de execução do pacote SSIS no Azure Monitor e no Log Analytics são semelhantes aos esquemas das tabelas ou exibições internas do SSISDB.
| Categorias de log do Azure Monitor | Tabelas do Log Analytics | Tabelas/exibições internas do SSISDB |
|---|---|---|
SSISIntegrationRuntimeLogs |
ADFSSISIntegrationRuntimeLogs |
|
SSISPackageEventMessageContext |
ADFSSISPackageEventMessageContext |
[internal].[event_message_context] |
SSISPackageEventMessages |
ADFSSISPackageEventMessages |
[internal].[event_messages] |
SSISPackageExecutableStatistics |
ADFSSISPackageExecutableStatistics |
[internal].[executable_statistics] |
SSISPackageExecutionComponentPhases |
ADFSSISPackageExecutionComponentPhases |
[internal].[execution_component_phases] |
SSISPackageExecutionDataStatistics |
ADFSSISPackageExecutionDataStatistics |
[internal].[execution_data_statistics] |
Para saber mais sobre atributos/propriedades do log operacional do SSIS, veja Logs de recursos.
Os logs de execução do pacote SSIS selecionados são sempre enviados para o Log Analytics, independentemente dos métodos de invocação. Por exemplo, você pode invocar execuções de pacote no SSDT habilitado para Azure, via T-SQL no SSMS, SQL Server Agent ou outras ferramentas designadas, e como execuções acionadas ou de depuração de atividades do Executar Pacote SSIS em pipelines do ADF.
Ao consultar os logs de operação de IR do SSIS no Logs Analytics, você pode usar as propriedades OperationName e ResultType definidas como Start/Stop/Maintenance/Heartbeat e Started/InProgress/Succeeded/Failed/Healthy/Unhealthy, respectivamente.
Para consultar o status do nó IR do SSIS, você pode definir a propriedade OperationName como Heartbeat. Cada nó normalmente envia um Heartbeat registro por minuto para o Log Analytics com a propriedade ResultType refletindo seu status, que é Healthy quando está disponível para execuções de pacote e Unhealthy quando não está. Por exemplo, se o IR do SSIS tiver dois nós disponíveis, você sempre verá dois Heartbeat registros com a propriedade ResultType definida como Healthy dentro de qualquer período de um minuto.
Você pode consultar os seguintes padrões para detetar a indisponibilidade do(s) seu(s) nó(s) IR do SSIS:
- Há registros ausentes
Heartbeatem muitos períodos de um minuto quando o SSIS IR ainda está em execução. - Há
Heartbeatregistros com a propriedade ResultType definida comoUnhealthyem muitos períodos de um minuto quando o IR do SSIS ainda está em execução.
Você pode transformar as consultas acima em alertas e ir para sua página de monitoramento de IR SSIS para confirmar quando você recebe esses alertas.
Ao consultar logs de execução de pacotes SSIS no Logs Analytics, você pode associá-los usando as propriedades OperationId/ExecutionId/CorrelationId. OperationId/ExecutionId são sempre definidos como 1 para todas as operações/execuções relacionadas a pacotes não armazenados no SSISDB/invocados via T-SQL.
