Partilhar via

Monitorizar um runtime de integração no Azure Data Factory

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

O tempo de execução da integração é a infraestrutura de computação usada pelo Azure Data Factory (ADF) para fornecer vários recursos de integração de dados em diferentes ambientes de rede. Há três tipos de tempos de execução de integração oferecidos pelo Data Factory:

  • Runtime de integração do Azure
  • Runtime de integração autoalojado
  • Tempo de execução da integração Azure-SQL Server Integration Services (SSIS)

Nota

Recomendamos que utilize o módulo Azure Az do PowerShell para interagir com o Azure. Para começar, consulte Instalar o Azure PowerShell. Para saber como migrar para o módulo do Az PowerShell, veja Migrar o Azure PowerShell do AzureRM para o Az.

Para obter o status de uma instância de IR (integration runtime), execute o seguinte comando do PowerShell:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

O cmdlet retorna informações diferentes para diferentes tipos de tempo de execução de integração. Este artigo explica as propriedades e os status de cada tipo de tempo de execução de integração.

Runtime de integração do Azure

O recurso de computação para um tempo de execução de integração do Azure é totalmente gerenciado de forma elástica no Azure. A tabela a seguir fornece descrições para propriedades retornadas pelo comando Get-AzDataFactoryV2IntegrationRuntime :

Propriedades

A tabela a seguir fornece descrições das propriedades retornadas pelo cmdlet para um tempo de execução de integração do Azure:

Property Descrição
Name Nome do tempo de execução de integração do Azure.
Estado Status do tempo de execução de integração do Azure.
Location Local do tempo de execução de integração do Azure. Para obter detalhes sobre o local de um tempo de execução de integração do Azure, consulte Introdução ao tempo de execução de integração.
DataFactoryName Nome da fábrica de dados à qual pertence o tempo de execução de integração do Azure.
ResourceGroupName Nome do grupo de recursos ao qual o data factory pertence.
Description Descrição do tempo de execução da integração.

Status

A tabela a seguir fornece possíveis status de um tempo de execução de integração do Azure:

Status Comentários/Cenários
Online O tempo de execução de integração do Azure está online e pronto para ser usado.
Offline O tempo de execução da integração do Azure está offline devido a um erro interno.

Runtime de integração autoalojado

Esta seção fornece descrições para propriedades retornadas pelo cmdlet Get-AzDataFactoryV2IntegrationRuntime.

Nota

As propriedades e o status retornados contêm informações sobre o tempo de execução geral da integração auto-hospedada e cada nó no tempo de execução.

Propriedades

A tabela a seguir fornece descrições das propriedades de monitoramento para cada nó:

Property Descrição
Name Nome do tempo de execução de integração auto-hospedado e nós associados a ele. Node é uma máquina Windows local que tem o tempo de execução de integração auto-hospedado instalado nele.
Status O status do tempo de execução geral da integração auto-hospedada e cada nó. Exemplo: Online/Offline/Limited/etc. Para obter informações sobre esses status, consulte a próxima seção.
Versão A versão do tempo de execução de integração auto-hospedado e cada nó. A versão do tempo de execução de integração auto-hospedado é determinada com base na versão da maioria dos nós no grupo. Se houver nós com versões diferentes na configuração do tempo de execução de integração auto-hospedada, somente os nós com o mesmo número de versão que o tempo de execução de integração auto-hospedado lógico funcionarão corretamente. Outros estão no modo limitado e precisam ser atualizados manualmente (apenas no caso de falha na atualização automática).
Memória disponível Memória disponível em um nó de tempo de execução de integração auto-hospedado. Esse valor é um instantâneo quase em tempo real.
Utilização da CPU Utilização da CPU de um nó de tempo de execução de integração auto-hospedado. Esse valor é um instantâneo quase em tempo real.
Rede (entrada/saída) Utilização de rede de um nó de tempo de execução de integração auto-hospedado. Esse valor é um instantâneo quase em tempo real.
Trabalhos Simultâneos (Execução/Limite) A Executar. Número de trabalhos ou tarefas em execução em cada nó. Esse valor é um instantâneo quase em tempo real.

Limite. Limite significa o máximo de trabalhos simultâneos para cada nó. Este valor é definido com base no tamanho da máquina. Você pode aumentar o limite para aumentar a execução simultânea de tarefas em cenários avançados, quando as atividades atingem o tempo limite mesmo quando a CPU, a memória ou a rede estão subutilizadas. Esse recurso também está disponível com um tempo de execução de integração auto-hospedado de nó único.
Role Há dois tipos de funções em um tempo de execução de integração auto-hospedado de vários nós - dispatcher e worker. Todos os nós são trabalhadores, o que significa que todos eles podem ser usados para executar trabalhos. Há apenas um nó de dispatcher, que é usado para extrair tarefas/trabalhos de serviços de nuvem e despachá-los para diferentes nós de trabalho. O nó do dispatcher também é um nó de trabalho.

Algumas configurações das propriedades fazem mais sentido quando há dois ou mais nós no tempo de execução de integração auto-hospedado (ou seja, em um cenário de expansão).

Limite de trabalhos simultâneos

O valor padrão do limite de trabalhos simultâneos é definido com base no tamanho da máquina. Os fatores usados para calcular esse valor dependem da quantidade de RAM e do número de núcleos de CPU da máquina. Assim, quanto mais núcleos e mais memória, maior o limite padrão de trabalhos simultâneos.

Você expande aumentando o número de nós. Quando você aumenta o número de nós, o limite de trabalhos simultâneos é a soma dos valores de limite de trabalho simultâneo de todos os nós disponíveis. Por exemplo, se um nó permite executar um máximo de doze trabalhos simultâneos, adicionar mais três nós semelhantes permite executar um máximo de 48 trabalhos simultâneos (ou seja, 4 x 12). Recomendamos que você aumente o limite de trabalhos simultâneos somente quando vir baixo uso de recursos com os valores padrão em cada nó.

Você pode substituir o valor padrão calculado no portal do Azure. Selecione Author > Connections > Integration Runtimes > Edit > Nodes Modifique o valor do > trabalho simultâneo por nó. Você também pode usar o comando update-Azdatafactoryv2integrationruntimenode do PowerShell.

Status (por nó)

A tabela a seguir fornece possíveis status de um nó de tempo de execução de integração auto-hospedado:

Status Description
Online O nó está conectado ao serviço Data Factory.
Offline O nó está offline.
A atualizar O nó está sendo atualizado automaticamente.
Limitada Devido a um problema de conectividade. Pode ser devido a um problema de porta HTTP 8060, problema de conectividade do barramento de serviço ou um problema de sincronização de credenciais.
Inativos O nó está em uma configuração diferente da configuração de outros nós principais.

Um nó pode ficar inativo quando não consegue se conectar a outros nós.

Status (tempo de execução geral da integração auto-hospedada)

A tabela a seguir fornece possíveis status de um tempo de execução de integração auto-hospedado. Esse status depende dos status de todos os nós que pertencem ao tempo de execução.

Status Description
Precisa de registo Nenhum nó está registrado neste tempo de execução de integração auto-hospedado ainda.
Online Todos os nós estão online.
Offline Nenhum nó está online.
Limitada Nem todos os nós neste tempo de execução de integração auto-hospedado estão em um estado íntegro. Esse status é um aviso de que alguns nós podem estar inativos. Esse status pode ser devido a um problema de sincronização de credenciais no nó dispatcher/worker.

Use o cmdlet Get-AzDataFactoryV2IntegrationRuntimeMetric para buscar a carga JSON que contém as propriedades detalhadas do tempo de execução da integração auto-hospedada e seus valores de instantâneo durante o tempo de execução do cmdlet.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json

Saída de exemplo (pressupõe que há dois nós associados a esse tempo de execução de integração auto-hospedado):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
}

Azure-SSIS Integration Runtime

Azure-SSIS IR é um cluster totalmente gerenciado de máquinas virtuais do Azure (VMs ou nós) dedicado para executar seus pacotes SSIS. Você pode invocar execuções de pacotes SSIS no Azure-SSIS IR usando vários métodos, por exemplo, por meio do SSDT (SQL Server Data Tools) habilitado para Azure, do utilitário de linha de comando AzureDTExec, do T-SQL no SQL Server Management Studio (SSMS)/SQL Server Agent e das atividades do Pacote SSIS Execute em pipelines do ADF. O IR do Azure-SSIS não executa nenhuma outra atividade do ADF. Depois de provisionado, você pode monitorar suas propriedades e status gerais/específicos do nó por meio do Azure PowerShell, do portal do Azure e do Azure Monitor.

Monitorar o tempo de execução da integração Azure-SSIS com o Azure PowerShell

Use o seguinte cmdlet do Azure PowerShell para monitorar as propriedades e os status gerais/específicos do nó do IR do Azure-SSIS.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Propriedades

A tabela a seguir fornece descrições das propriedades retornadas pelo cmdlet acima para um IR do Azure-SSIS.

Propriedade/Estado Description
CreateTime A hora UTC em que o IR do Azure-SSIS foi criado.
Nós Os nós alocados/disponíveis do seu IR do Azure-SSIS com status específicos do nó (início/disponível/reciclagem/indisponível) e erros acionáveis.
OutrosErros Os erros acionáveis não específicos do nó em seu IR do Azure-SSIS.
Última Operação O resultado da última operação start/stop em seu IR do Azure-SSIS com erro(s) acionável(s) se falhar.
Estado O status geral (inicial/início/início/parada/parada) do seu IR do Azure-SSIS.
Location O local do seu IR do Azure-SSIS.
Tamanho do nó O tamanho de cada nó em seu IR do Azure-SSIS.
NodeCount O número de nós em seu IR do Azure-SSIS.
MaxParallelExecutionsPerNode O número máximo de execuções paralelas por nó em seu IR do Azure-SSIS.
CatalogServerEndpoint O ponto de extremidade do seu servidor existente do Banco de Dados SQL do Azure ou instância gerenciada para hospedar o catálogo SSIS (SSISDB).
CatalogAdminUserName O nome de usuário administrador para seu servidor existente do Banco de Dados SQL do Azure ou instância gerenciada. O ADF usa essas informações para preparar e gerenciar o SSISDB em seu nome.
CatalogAdminPassword A senha de administrador para seu servidor existente do Banco de Dados SQL do Azure ou instância gerenciada.
CatalogPricingTier A camada de preços do SSISDB hospedado pelo servidor do Banco de Dados SQL do Azure. Não aplicável à Instância Gerenciada SQL do Azure que hospeda o SSISDB.
VNetId A ID do recurso de rede virtual para o IR do Azure-SSIS ingressar.
Sub-rede O nome da sub-rede para o IR do Azure-SSIS ingressar.
ID A ID do recurso do seu IR do Azure-SSIS.
Type O tipo de IR (Gerenciado/Auto-Hospedado) do seu IR do Azure-SSIS.
ResourceGroupName O nome do seu Grupo de Recursos do Azure, no qual o ADF e o IR do Azure-SSIS foram criados.
DataFactoryName O nome do seu ADF.
Nome O nome do seu IR do Azure-SSIS.
Description A descrição do seu IR do Azure-SSIS.

Status (por nó IR Azure-SSIS)

A tabela a seguir fornece possíveis status de um nó IR do Azure-SSIS:

Status específico do nó Description
A iniciar Este nó está a ser preparado.
Disponível Este nó está pronto para você implantar/executar pacotes SSIS.
Reciclagem Este nó está a ser reparado/reiniciado.
Indisponível Esse nó não está pronto para você implantar/executar pacotes SSIS e tem erros/problemas acionáveis que você pode resolver.

Status (geral Azure-SSIS IR)

A tabela a seguir fornece possíveis status gerais de um IR do Azure-SSIS. O status geral, por sua vez, depende dos status combinados de todos os nós que pertencem ao IR do Azure-SSIS.

Estado geral Description
Inicial Os nós do seu IR do Azure-SSIS não foram alocados/preparados.
A iniciar Os nós do seu IR do Azure-SSIS estão sendo alocados/preparados e a cobrança foi iniciada.
Iniciado Os nós do seu IR do Azure-SSIS foram alocados/preparados e estão prontos para você implantar/executar pacotes SSIS.
A parar Os nós do seu Azure SSIS IR estão sendo liberados.
Parado Os nós do seu IR do Azure-SSIS foram liberados e a cobrança foi interrompida.

Monitorar o tempo de execução da integração Azure-SSIS no portal do Azure

Para monitorar seu IR do Azure-SSIS no portal do Azure, vá para a página Tempos de execução de integração do hub Monitor na interface do usuário do ADF, onde você pode ver todos os seus tempos de execução de integração.

Monitore todos os tempos de execução de integração

Em seguida, selecione o nome do seu IR do Azure-SSIS para abrir sua página de monitoramento, onde você pode ver suas propriedades e status gerais/específicos do nó. Nesta página, dependendo de como você define as configurações gerais, de implantação e avançadas do seu IR do Azure-SSIS, você encontrará vários blocos informativos/funcionais.

Os blocos informativos TYPE e REGION mostram o tipo e a região do seu IR do Azure-SSIS, respectivamente.

O bloco informativo NODE SIZE mostra a SKU (série de edition_VM tier_VM SSIS), o número de núcleos de CPU e o tamanho da RAM por nó para seu IR do Azure-SSIS.

O bloco informativo NÓ(S) EM EXECUÇÃO/SOLICITADO compara o número de nós atualmente em execução com o número total de nós solicitados anteriormente para seu IR do Azure-SSIS.

O bloco informativo DUAL STANDBY PAIR / ROLE mostra o nome do seu par IR do Azure-SSIS em espera dupla que funciona em sincronia com o grupo de failover da Instância Gerenciada SQL do Azure para continuidade de negócios e recuperação de desastres (BCDR) e a função principal/secundária atual do seu IR do Azure-SSIS. Quando o failover do SSISDB ocorre, seus IRs primários e secundários do Azure-SSIS trocarão de funções (consulte Configurando seu IR do Azure-SSIS para BCDR).

Os blocos funcionais são descritos em mais detalhes abaixo.

Monitorar seu IR do Azure-SSIS

Mosaico STATUS

No bloco STATUS da sua página de monitoramento de IR do Azure-SSIS, você pode ver seu status geral, por exemplo, Em execução ou Parado. Selecionar o status em execução exibe uma janela com o botão Parar ao vivo para parar seu IR do Azure-SSIS. Selecionar o status Parado exibe uma janela com o botão Iniciar ao vivo para iniciar seu IR do Azure-SSIS. A janela pop-up também tem um botão Executar pacote SSIS para gerar automaticamente um pipeline do ADF com a atividade Executar Pacote SSIS que é executada no IR do Azure-SSIS (consulte Executando pacotes SSIS como Executar atividades do Pacote SSIS em pipelines do ADF) e uma caixa de texto ID do Recurso , da qual você pode copiar sua ID de recurso IR do Azure-SSIS (/subscriptions/YourAzureSubscripton/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). O sufixo de sua ID de recurso de IR do Azure-SSIS que contém seus nomes de IR do ADF e do Azure-SSIS forma uma ID de cluster que pode ser usada para comprar componentes SSIS premium/licenciados adicionais de ISVs (fornecedores independentes de software) e vinculá-los ao seu IR do Azure-SSIS (consulte Instalando componentes premium/licenciados em seu IR do Azure-SSIS).

Monitore seu bloco Azure-SSIS IR - STATUS

Bloco SSISDB SERVER ENDPOINT

Se você usar o Modelo de Implantação de Projeto em que os pacotes são armazenados no SSISDB hospedado pelo servidor do Banco de Dados SQL do Azure ou pela instância gerenciada, verá o bloco PONTO DE EXTREMIDADE DO SERVIDOR SSISDB na página de monitoramento de IR do Azure-SSIS (consulte Configurando suas configurações de implantação de IR do Azure-SSIS). Neste bloco, você pode selecionar um link designando seu servidor do Banco de Dados SQL do Azure ou instância gerenciada para exibir uma janela, onde você pode copiar o ponto de extremidade do servidor de uma caixa de texto e usá-lo ao se conectar do SSMS para implantar, configurar, executar e gerenciar seus pacotes. Na janela pop-up, você também pode selecionar o link Ver seu Banco de Dados SQL do Azure ou configurações de instância gerenciada para reconfigurar/redimensionar seu SSISDB no portal do Azure.

Monitorar seu bloco Azure SSIS IR - SSISDB

Bloco PROXY / STAGING

Se você baixar, instalar e configurar o IR Auto-Hospedado (SHIR) como um proxy para seu IR do Azure-SSIS acessar dados no local, verá o bloco PROXY / STAGING na página de monitoramento de IR do Azure-SSIS (consulte Configurando o SHIR como um proxy para seu IR do Azure-SSIS). Neste bloco, você pode selecionar um link designando seu SHIR para abrir sua página de monitoramento. Você também pode selecionar outro link designando seu Armazenamento de Blob do Azure para preparo para reconfigurar seu serviço vinculado.

Mosaico VALIDATE VNET / SUBNET

Se você unir seu IR do Azure-SSIS a uma VNet, verá o bloco VALIDATE VNET / SUBNET em sua página de monitoramento de IR do Azure-SSIS (consulte Ingressando seu IR do Azure-SSIS a uma VNet). Neste bloco, você pode selecionar um link designando sua VNet e sub-rede para exibir uma janela, onde você pode copiar sua ID de recurso de VNet (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) e nome de sub-rede de caixas de texto, bem como validar suas configurações de VNet e sub-rede para garantir que os tráfegos de rede de entrada/saída necessários e o gerenciamento de seu IR do Azure-SSIS não sejam obstruídos.

Monitorar seu Azure-SSIS IR - VALIDAR bloco

Bloco DIAGNOSE CONNECTIVITY

No bloco DIAGNOSE CONNECTIVITY da sua página de monitoramento de IR do Azure-SSIS, você pode selecionar o link Testar conexão para exibir uma janela, onde você pode verificar as conexões entre seu IR do Azure-SSIS e armazenamentos de pacotes/configurações/dados relevantes, bem como serviços de gerenciamento, por meio de seu nome de domínio totalmente qualificado (FQDN)/endereço IP e porta designada (consulte Testando conexões do seu IR do Azure-SSIS).

Monitorar seu bloco Azure-SSIS IR - DIAGNOSE

Mosaico ENDEREÇOS IP PÚBLICOS ESTÁTICOS

Se você trazer seus próprios endereços IP públicos estáticos para o IR do Azure-SSIS, verá o bloco ENDEREÇOS IP PÚBLICOS ESTÁTICOS na página de monitoramento de IR do Azure-SSIS (consulte Trazendo seus próprios endereços IP públicos estáticos para o IR do Azure-SSIS). Neste bloco, você pode selecionar links designando seu primeiro/segundo endereços IP públicos estáticos para o IR do Azure-SSIS para exibir uma janela, onde você pode copiar sua ID de recurso (/subscriptions/YourAzureSubscripton/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) de uma caixa de texto. Na janela pop-up, você também pode selecionar o link Ver suas configurações de endereço IP público estático primeiro/segundo para gerenciar seu primeiro/segundo endereço IP público estático no portal do Azure.

Monitorar seu Azure-SSIS IR - STATIC tile

BLOCO DE LOJAS DE PACOTES

Se você usar o Modelo de Implantação de Pacote, onde os pacotes são armazenados no sistema de arquivos/Arquivos do Azure/banco de dados do SQL Server (MSDB) hospedado pela sua Instância Gerenciada SQL do Azure e gerenciado por meio de repositórios de pacotes IR do Azure-SSIS, você verá o bloco REPOSITÓRIOS DE PACOTES na página de monitoramento de IR do Azure-SSIS (consulte Configurando suas configurações de implantação de IR do Azure-SSIS). Neste bloco, você pode selecionar um link designando o número de armazenamentos de pacotes anexados ao seu IR do Azure-SSIS para exibir uma janela, onde você pode reconfigurar os serviços vinculados relevantes para seus armazenamentos de pacotes de IR do Azure-SSIS sobre o sistema de arquivos/Arquivos do Azure/MSDB hospedados pela sua Instância Gerenciada SQL do Azure.

Monitore seu bloco Azure-SSIS IR - PACKAGE

Mosaico ERROR(S)

Se houver problemas com o início/parada/manutenção/atualização do seu IR do Azure-SSIS, você verá um bloco ERROR(S) adicional na sua página de monitoramento do IR do Azure-SSIS. Neste bloco, você pode selecionar um link designando o número de erros gerados pelo seu IR do Azure-SSIS para exibir uma janela, onde você pode ver esses erros em mais detalhes e copiá-los para encontrar as soluções recomendadas em nosso guia de solução de problemas (consulte Solução de problemas do IR do Azure-SSIS).

Monitorar seu bloco Azure SSIS IR - ERROR

Monitorar o tempo de execução da integração Azure-SSIS com o Azure Monitor

Para monitorar seu IR do Azure-SSIS com o Azure Monitor, consulte Monitorando operações do SSIS com o Azure Monitor.

Mais informações sobre o tempo de execução da integração Azure-SSIS

Consulte os seguintes artigos para saber mais sobre o tempo de execução da integração Azure-SSIS:

  • Tempo de execução da integração Azure-SSIS. Este artigo fornece informações conceituais sobre tempos de execução de integração em geral, incluindo o IR do Azure-SSIS.
  • Tutorial: implementar pacotes do SSIS no Azure. Este artigo fornece instruções passo a passo para criar seu IR do Azure-SSIS e usar o Banco de Dados SQL do Azure para hospedar o catálogo do SSIS (SSISDB).
  • How to: Create an Azure-SSIS integration runtime (Como criar um runtime de integração do Azure-SSIS). Este artigo expande o tutorial e fornece instruções sobre como usar a Instância Gerenciada SQL do Azure para hospedar o SSISDB.
  • Gerir o Azure-SSIS IR. Este artigo mostra como iniciar, parar ou excluir seu IR do Azure-SSIS. Ele também mostra como dimensioná-lo adicionando mais nós.
  • Associar um IR Azure-SSIS a uma rede virtual. Este artigo fornece instruções sobre como unir seu IR do Azure-SSIS a uma rede virtual.

Conteúdos relacionados

Consulte os seguintes artigos para monitorar pipelines de diferentes maneiras: