Compartilhar via


Monitorar um runtime de integração no Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

O runtime de integração é a infraestrutura de computação usada pelo ADF (Azure Data Factory) para fornecer diversas funcionalidades de integração de dados entre diferentes ambientes de rede. São oferecidos três tipos de runtimes de integração pelo Data Factory:

  • Azure Integration runtime
  • runtime de integração auto-hospedada
  • Runtime de integração do Azure-SSIS (SQL Server Integration Services)

Observação

Recomendamos que você use o módulo Az PowerShell do Azure para interagir com o Azure. Para começar, confira Instalar o Azure PowerShell. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.

Para obter o status de uma instância de runtime de integração (IR), execute o seguinte comando do PowerShell:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

O cmdlet retorna diferentes informações para diferentes tipos de runtime de integração. Este artigo explica as propriedades e os status para cada tipo de runtime de integração.

Azure Integration runtime

O recurso de computação para um Azure Integration runtime é totalmente gerenciado com elasticidade no Azure. A seguinte tabela fornece descrições das propriedades retornadas pelo comando Get-AzDataFactoryV2IntegrationRuntime:

Propriedades

A tabela a seguir fornece descrições de propriedades retornadas pelo cmdlet para um Azure Integration runtime:

Propriedade Descrição
Nome Nome do Azure Integration runtime.
Estado Status do Azure Integration runtime.
Local Local do Azure Integration runtime. Para obter detalhes sobre o local de Azure Integration runtime, consulte Introdução ao runtime de integração.
DataFactoryName Nome do Data Factory ao qual o Azure Integration runtime pertence.
ResourceGroupName Nome do grupo de recursos ao qual o data factory pertence.
Descrição Descrição do runtime de integração.

Status

A tabela a seguir fornece os possíveis status do Azure Integration runtime:

Status Comentários/Cenários
Online O Azure Integration runtime está online e pronto para ser usado.
Offline O Azure Integration runtime está offline devido a um erro interno.

runtime de integração auto-hospedada

Esta seção fornece descrições para propriedades retornadas pelo cmdlet Get-AzDataFactoryV2IntegrationRuntime.

Observação

As propriedades retornadas e o status contêm informações sobre o runtime de integração auto-hospedada geral e cada nó no runtime.

Propriedades

A tabela a seguir apresenta descrições das Propriedades de monitoramento para cada nó:

Propriedade Descrição
Nome Nome do runtime de integração auto-hospedada e nós associados a ele. O nó é um computador local do Windows em que o runtime de integração auto-hospedada está instalado.
Status O status do runtime de integração auto-hospedada geral e de cada nó. Exemplo: Online/Offline/Limitado/etc. Para obter informações sobre esses status, veja a próxima seção.
Versão A versão do runtime de integração auto-hospedada geral e de cada nó. A versão do runtime de integração auto-hospedada é determinada com base na versão da maioria dos nós no grupo. Se há nós com versões diferentes na configuração do runtime de integração auto-hospedada, somente os nós com o mesmo número de versão que o runtime de integração auto-hospedada funcionam corretamente. Os outros estão no modo limitado e precisam ser atualizados manualmente (somente caso a atualização automática falhe).
Memória disponível Memória disponível em um nó de runtime de integração auto-hospedada. Esse valor é um instantâneo quase em tempo real.
Utilização da CPU Utilização da CPU de um nó de runtime de integração auto-hospedada. Esse valor é um instantâneo quase em tempo real.
Rede (Entrada/Saída) Utilização da rede de um nó de runtime de integração auto-hospedada. Esse valor é um instantâneo quase em tempo real.
Trabalhos Simultâneos (Executando/Limite) Executando. Número de trabalhos ou tarefas em execução em cada nó. Esse valor é um instantâneo quase em tempo real.

Limite. Limite significa a máxima de trabalhos simultâneos para cada nó. Esse valor é definido com base no tamanho do computador. Você pode aumentar o limite para escalar verticalmente a execução de trabalhos simultâneos em cenários avançados, em que as atividades estão atingindo o tempo limite mesmo quando há subutilização de memória, CPU ou rede. Essa funcionalidade também está disponível com runtime de integração auto-hospedada de nó único.
Função Há dois tipos de funções em um runtime de integração auto-hospedada com vários nós – dispatcher e de trabalho. Todos os nós são de trabalho, o que significa que eles podem ser usados para executar trabalhos. Há apenas um nó dispatcher, que é usado para efetuar pull de tarefas/trabalhos dos serviços de nuvem e distribuí-los para nós de trabalho diferentes. O nó dispatcher também é um nó de trabalho.

Algumas configurações das propriedades fazem mais sentido quando há dois ou mais nós no runtime de integração auto-hospedada (ou seja, no cenário de expansão).

Limite de trabalhos simultâneos

O valor padrão do limite de trabalhos simultâneos é definido com base no tamanho do computador. Os fatores usados para calcular esse valor dependem da quantidade de RAM e do número de núcleos de CPU do computador. Portanto, quanto mais núcleos e mais memória, maior será o limite padrão de trabalhos simultâneos.

Você escala horizontalmente aumentando o número de nós. Quando você aumenta o número de nós, o limite de trabalhos simultâneos é a soma dos valores de limite de trabalhos simultâneos de todos os nós disponíveis. Por exemplo, se um nó permitir que você execute um máximo de 12 trabalhos simultâneos, adicionar mais três nós semelhantes permitirá que você execute um máximo de 48 trabalhos simultâneos (ou seja, 4 × 12). É recomendável aumentar o limite de trabalhos simultâneos apenas quando você observar um baixo uso de recursos com os valores padrão em cada nó.

Você pode substituir o valor padrão calculado no portal do Azure. Selecione Autor > Conexões > Runtimes de Integração > Editar > Nós > Modificar valor de trabalhos simultâneos por nó. Você também pode usar o comando update-Azdatafactoryv2integrationruntimenode do PowerShell.

Status (por nó)

A tabela a seguir fornece os possíveis status de um nó de runtime de integração auto-hospedada:

Status Descrição
Online O nó está conectado ao serviço Data Factory.
Offline O nó está offline.
Atualizando O nó está sendo atualizado automaticamente.
Limitado Devido a um problema de conectividade. Isso pode ocorrer devido a um problema de HTTP da porta 8060, problema de conectividade do barramento de serviço ou problema de sincronização de credenciais.
Inativo O nó está em uma configuração diferente da configuração de outros nós de maioria.

Um nó pode ficar inativo quando ele não pode se conectar a outros nós.

Status (runtime de integração auto-hospedada geral)

A tabela a seguir fornece os possíveis status de um runtime de integração auto-hospedada. Esse status depende dos status de todos os nós que pertencem ao runtime.

Status Descrição
Precisa de registro Nenhum nó está registrado a esse runtime de integração auto-hospedada.
Online Todos os nós estão online.
Offline Nenhum nó está online.
Limitado Nem todos os nós no runtime de integração auto-hospedada estão em um estado íntegro. Esse status é um aviso de que alguns nós podem estar inativos. Esse status pode ser devido a um problema de sincronização de credenciais no nó dispatcher/de trabalho.

Use o cmdlet Get-AzDataFactoryV2IntegrationRuntimeMetric para buscar o conteúdo JSON que contenha as propriedades detalhadas do runtime de integração auto-hospedada e os respectivos valores de instantâneo durante a execução do cmdlet.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

Exemplo de saída (supõe que há dois nós associados a esse runtime de integração auto-hospedada):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
} 

runtime de integração do Azure-SSIS

O Azure-SSIS IR é um cluster totalmente gerenciado das máquinas virtuais (VMs ou nós) do Azure dedicado que executa os pacotes de SSIS. Você pode invocar execuções de pacote SSIS no Azure-SSIS IR usando vários métodos, por exemplo, por meio do SSDT (SQL Server Data Tools) habilitado para Azure, do utilitário de linha de comando AzureDTExec, do T-SQL no SSMS (SQL Server Management Studio)/SQL Server Agent e das atividades de Execução do Pacote SSIS em pipelines do ADF. O Azure-SSIS IR não executa nenhuma outra atividade do ADF. Depois de provisionado, você pode monitorar as propriedades e status gerais/específicas do nó por meio do Azure PowerShell, do portal do Azure e do Azure Monitor.

Monitorar o Azure-SSIS Integration Runtime com o Azure PowerShell

Use o cmdlet do Azure PowerShell a seguir para monitorar as propriedades e os status gerais/específicos do nó do Azure-SSIS IR.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Propriedades

A tabela a seguir fornece descrições de propriedades retornadas pelo cmdlet acima para um Azure-SSIS IR.

Propriedade/Status Descrição
CreateTime A hora UTC em que o Azure-SSIS IR foi criado.
Nós Os nós alocados/disponíveis do seu Azure-SSIS IR com os status específicos dos nós (iniciando/disponível/reciclando/indisponível) e os erros acionáveis.
OtherErrors Os erros acionáveis não específicos dos nós no seu Azure-SSIS IR.
LastOperation O resultado da última operação de iniciar/parar no seu Azure-SSIS IR com os erros acionáveis, se houver falha.
Estado O status geral (inicial/iniciando/iniciado/parando/parado) do seu Azure-SSIS IR.
Local A localização do seu Azure-SSIS IR.
NodeSize O tamanho de cada nó no seu Azure-SSIS IR.
NodeCount O número de nós no seu Azure-SSIS IR.
MaxParallelExecutionsPerNode O número máximo de execuções paralelas por nó no seu Azure-SSIS IR.
CatalogServerEndpoint O ponto de extremidade do seu servidor do Banco de Dados SQL do Azure ou a instância gerenciada existente para hospedar o catálogo SSIS (SSISDB).
CatalogAdminUserName O nome de usuário administrador do seu servidor do Banco de Dados SQL do Azure ou instância gerenciada existente. O ADF usa essas informações para preparar e gerenciar o SSISDB por você.
CatalogAdminPassword A senha do administrador do seu servidor do Banco de Dados SQL do Azure ou da instância gerenciada existente.
CatalogPricingTier O tipo de preço do SSISDB hospedado pelo servidor do Banco de Dados SQL do Azure. Não se aplica à Instância Gerenciada de SQL do Azure hospedando o SSISDB.
VNetId A ID do recurso de rede virtual usada para o ingresso do Azure-SSIS IR.
Sub-rede O nome da sub-rede usada para ingresso do Azure-SSIS IR.
ID A ID de recurso do seu Azure-SSIS IR.
Tipo O tipo de IR (gerenciado/auto-hospedado) do seu Azure-SSIS IR.
ResourceGroupName O nome do seu Grupo de Recursos do Azure, no qual o ADF e o Azure-SSIS IR foram criados.
DataFactoryName O nome do ADF.
Nome O nome do Azure-SSIS IR.
Descrição A descrição do Azure-SSIS IR.

Status (por nó do Azure-SSIS IR)

A seguinte tabela fornece os possíveis status de um nó do Azure-SSIS IR:

Status específico do nó Descrição
Iniciando Este nó está sendo preparado.
Disponível Este nó está pronto para implantar/executar pacotes do SSIS.
Reciclando Este nó está sendo reparado/está reiniciando.
Indisponível Este nó não está pronto para implantar/executar pacotes do SSIS e tem problemas/erros acionáveis que você pode resolver.

Status (Azure-SSIS IR geral)

A tabela seguir fornece os possíveis status gerais de um Azure-SSIS IR. O status geral, por sua vez, depende dos status combinados de todos os nós que pertencem ao Azure-SSIS IR.

Status geral Descrição
Inicial Os nós do seu Azure-SSIS IR não foram alocados/preparados.
Iniciando Os nós de seu Azure-SSIS IR estão sendo alocados/preparados e a cobrança foi iniciada.
Iniciado Os nós de seu Azure-SSIS IR foram alocados/preparados e estão prontos para implantar/executar pacotes do SSIS.
Parando Os nós de seu Azure-SSIS IR estão sendo liberados.
Parado Os nós de seu Azure-SSIS IR foram liberados e a cobrança parou.

Monitorar o Azure-SSIS Integration Runtime no portal do Azure

Para monitorar o seu Azure-SSIS IR no portal do Azure, acesse a página Runtimes de integração do hub Monitor na interface do usuário do ADF, na qual você pode ver todos os runtimes de integração.

Monitorar todos os runtimes de integração

Em seguida, selecione o nome do seu Azure-SSIS IR para abrir a página de monitoramento, na qual você pode ver as propriedades e status gerais/específicos do nó. Nesta página, dependendo de como você define as configurações gerais, de implantação e avançadas do seu Azure-SSIS IR, você vai encontrar vários blocos informacionais/funcionais.

Os blocos informativos TIPO e REGIÃO mostram o tipo e a região do Azure-SSIS IR, respectivamente.

O bloco informativo TAMANHO DO NÓ mostra o SKU (série SSIS edition_VM tier_VM), o número de núcleos de CPU e o tamanho da RAM por nó do Azure-SSIS IR.

O bloco informativo NÓS SOLICITADOS/EM EXECUÇÃO compara o número de nós em execução no momento com o número total de nós solicitados anteriormente para o Azure-SSIS IR.

O bloco informativo PAR/FUNÇÃO DUAL EM ESPERA mostra o nome do par dual em espera do Azure-SSIS IR que funciona em sincronia com o grupo de failover da Instância Gerenciada de SQL do Azure para BCDR (continuidade dos negócios e recuperação de desastres) e a função primária/secundária atual do Azure-SSIS IR. Quando ocorrer um failover do SSISDB, os Azure-SSIS IRs primários e secundários trocarão de funções (confira Como configurar o seu Azure-SSIS IR para BCDR).

Os blocos funcionais são descritos em mais detalhes abaixo.

Monitorar o Azure-SSIS IR

Bloco STATUS

No bloco STATUS da página de monitoramento do Azure-SSIS IR, você pode ver o status geral, por exemplo, Em execução ou Parado. Selecionar o status Em execução abrirá uma janela com o botão Parar dinâmico para interromper o Azure-SSIS IR. A seleção do status Parado exibe uma janela com o botão Iniciar dinâmico para iniciar o Azure-SSIS IR. A janela pop-up também tem um botão Executar pacote SSIS para gerar automaticamente um pipeline do ADF com a atividade de Execução do Pacote do SSIS que é executada no seu Azure-SSIS IR (confira Como executar pacotes do SSIS como atividades de Execução de Pacote do SSIS em pipelines do ADF) e uma caixa de texto ID do recurso, na qual você pode copiar a ID do recurso do Azure-SSIS IR (/subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). O sufixo da ID do recurso do Azure-SSIS IR que contém os nomes do ADF e do Azure-SSIS IR forma uma ID de cluster que pode ser usada para comprar componentes adicionais do SSIS premium/licenciados de ISVs (fornecedores de software independentes) e associá-los ao seu Azure-SSIS IR (confira Como instalar os componentes premium/licenciados no seu Azure-SSIS IR).

Monitorar o Azure-SSIS IR – Bloco STATUS

Bloco PONTO DE EXTREMIDADE DO SSISDB

Se você usar o modelo de implantação de projeto em que os pacotes são armazenados no SSISDB hospedado pelo seu servidor do Banco de Dados SQL do Azure ou pela instância gerenciada, você verá o bloco PONTO DE EXTREMIDADE DO SERVIDOR SSISDB na sua página de monitoramento do Azure-SSIS IR (confira Como definir as suas configurações de implantação do Azure-SSIS IR). Nesse bloco, você pode selecionar um link que designa o servidor do Banco de Dados SQL do Azure ou a instância gerenciada para exibir uma janela, na qual é possível copiar o ponto de extremidade do servidor de uma caixa de texto e usá-lo ao se conectar do SSMS para implantar, configurar, executar e gerenciar os seus pacotes. Na janela pop-up, você também pode selecionar o link Confira o seu Banco de Dados SQL do Azure ou as configurações de instância gerenciada para reconfigurar/redimensionar o SSISDB no portal do Azure.

Monitorar o Azure-SSIS IR – Bloco SSISDB

Bloco PROXY/PREPARO

Se você baixar, instalar e configurar o SHIR (IR Auto-Hospedado) como um proxy para o Azure-SSIS IR acessar dados no local, você verá o bloco PROXY/PREPARO na sua página de monitoramento do Azure-SSIS IR (confira Como configurar o SHIR como um proxy para o Azure-SSIS IR). Nesse bloco, você pode selecionar um link que designa o seu SHIR para abrir a página de monitoramento. Você também pode selecionar outro link que designa o seu Armazenamento de Blobs do Azure de preparo para reconfigurar o serviço vinculado.

Bloco VALIDAR VNET/SUB-REDE

Se você ingressar o seu Azure-SSIS IR a uma VNet, verá o bloco VALIDAR VNET/SUB-REDE na página de monitoramento do Azure-SSIS IR (confira Como ingressar o seu Azure-SSIS IR a uma VNet). Nesse bloco, você pode selecionar um link que designa a sua VNet e a sub-rede para abrir uma janela, na qual você pode copiar sua ID de recurso de VNet (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) e o nome da sub-rede das caixas de texto, bem como validar as configurações de VNet e de sub-rede para garantir que os tráfegos de rede de entrada/saída necessários e o gerenciamento do seu Azure-SSIS IR não estejam obstruídos.

Monitorar o seu Azure-SSIS IR – Bloco VALIDAR

Bloco DIAGNOSTICAR CONECTIVIDADE

No bloco DIAGNOSTICAR CONECTIVIDADE da página de monitoramento do Azure-SSIS IR, você pode selecionar o link Testar conectividade para abrir uma janela, na qual você pode verificar as conexões entre o Azure-SSIS IR e o pacote/configuração/armazenamentos de dados relevantes, bem como os serviços de gerenciamento, por meio do endereço IP/FQDN (endereço IP totalmente qualificado) e da porta designada (confira Testar conectividade do seu Azure-SSIS IR).

Monitorar o seu Azure-SSIS IR – Bloco DIAGNOSTICAR

Bloco ENDEREÇOS IP PÚBLICOS ESTÁTICOS

Se você trazer os próprios endereços IP públicos estáticos para o Azure-SSIS IR, verá o bloco ENDEREÇOS IP PÚBLICOS ESTÁTICOS na página de monitoramento do Azure-SSIS IR (confira Trazer os próprios endereços IP públicos estáticos para o Azure-SSIS IR). Nesse bloco, você pode selecionar links que designam que os seus primeiros/segundos endereços IP públicos estáticos para o Azure-SSIS IR abram uma janela, na qual você pode copiar sua ID de recurso (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) de uma caixa de texto. Na janela pop-up, você também pode selecionar o link Ver as configurações do primeiro/segundo endereço IP público estático para gerenciar o seu primeiro/segundo endereço IP público estático no portal do Azure.

Monitorar o Azure-SSIS IR – Bloco ESTÁTICO

Bloco REPOSITÓRIOS DE PACOTES

Se você usar o Modelo de Implantação de Pacote no qual os pacotes são armazenados no sistema de arquivos/Arquivos do Azure/banco de dados SQL Server (MSDB) hospedados pela sua Instância Gerenciada de SQL do Azure e gerenciados por meio de repositórios de pacotes do Azure-SSIS IR, você verá o bloco REPOSITÓRIOS DE PACOTES na sua página de monitoramento do Azure-SSIS IR (confira Como definir as suas configurações de implantação do Azure-SSIS IR). Nesse bloco, você pode selecionar um link que designa o número de repositórios de pacotes anexados ao Azure-SSIS IR para abrir uma janela, na qual é possível reconfigurar os serviços vinculados relevantes dos seus repositórios de pacotes do Azure-SSIS IR no sistema de arquivos/Arquivos do Azure/MSDB hospedado pela sua Instância Gerenciada de SQL do Azure.

Monitorar o Azure-SSIS IR – Bloco PACOTE

Bloco ERROS

Se houver problemas com a inicialização/interrupção/manutenção/atualização do seu Azure-SSIS IR, você verá um bloco adicional ERROS na sua página de monitoramento do Azure-SSIS IR. Nesse bloco, você pode selecionar um link que designa o número de erros gerados pelo seu Azure-SSIS IR para abrir uma janela, na qual você pode ver esses erros em mais detalhes e copiá-los para encontrar as soluções recomendadas em nosso guia de solução de problemas (confira Solução de problemas do seu Azure-SSIS IR).

Monitorar o Azure-SSIS IR – Bloco ERRO

Monitorar o Azure-SSIS Integration Runtime com o Azure Monitor

Para monitorar o seu Azure-SSIS IR com o Azure Monitor, confira Como monitorar operações do SSIS com o Azure Monitor.

Mais informações sobre o runtime de integração do Azure-SSIS

Consulte os artigos a seguir para saber mais sobre o runtime de integração do Azure-SSIS:

Consulte os artigos a seguir para monitorar os pipelines de maneiras diferentes: