Monitorar um runtime de integração em uma rede virtual gerenciada

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Você pode usar uma rede virtual gerenciada do Azure Data Factory para conectar suas fontes de dados a uma rede virtual gerenciada pelo serviço Data Factory com segurança s. Usando essa funcionalidade, você pode estabelecer um ambiente privado e isolado para seus processos de integração e orquestração de dados.

Ao usar uma rede virtual gerenciada, você combina os recursos de integração de dados e orquestração no Data Factory com a segurança e a flexibilidade das redes virtuais do Azure. Ela permite que você crie pipelines de integração de dados robustos, escalonáveis e seguros que se conectam perfeitamente aos seus recursos de rede, sejam eles locais ou na nuvem.

Um ponto problemático comum da computação gerenciada é a falta de visibilidade do desempenho e da integridade, especialmente em um ambiente de rede virtual gerenciado. Sem o monitoramento adequado, identificar e resolver problemas torna-se desafiador, levando a possíveis atrasos, erros e degradação do desempenho.

Por meio do monitoramento aprimorado no Data Factory, você pode obter informações valiosas sobre seus processos de integração de dados. Esses insights podem levar a uma melhor eficiência, melhor utilização de recursos e melhor desempenho geral. Com o monitoramento proativo e alertas oportunos, os usuários podem resolver problemas proativamente, otimizar fluxos de trabalho e garantir a execução tranquila de seus pipelines de integração de dados no ambiente de rede virtual gerenciado.

Novas métricas

A introdução de novas métricas aumenta a visibilidade e os recursos de monitoramento em ambientes de rede virtual gerenciados.

O Azure Data Factory fornece três tipos distintos de pools de computação:

• Computação para uma atividade de cópia
• Computação para uma atividade de pipeline, como uma pesquisa
• Computar para uma atividade externa, como um notebook do Azure Databricks

Esses pools de computação oferecem flexibilidade e escalabilidade para acomodar cargas de trabalho diversas e garantir a alocação de recursos ideal. Cada um é personalizado para lidar com requisitos específicos de execução de atividade.

Para garantir um monitoramento consistente e abrangente em todos os pools de computação, implementamos os mesmos conjuntos de métricas de monitoramento:

• Utilização da capacidade
• Percentual de capacidade disponível
• Comprimento da Fila de Espera

Independentemente do tipo de pool de computação que está sendo usado, os usuários podem acessar e analisar um conjunto padronizado de métricas para obter insights sobre o desempenho e a integridade de suas atividades de integração de dados.

Observação

Essas métricas são válidas somente quando você está habilitando avida útil (TTL) em um runtime de integração em uma rede virtual gerenciada.

Métrica	Unidade	Descrição
Copiar a utilização da capacidade do runtime de integração MVNet	Porcentagem	O percentual máximo de utilização da Unidade de Integração de Dados (DIU) para atividades de cópia TTL no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Copiar o percentual de capacidade disponível do runtime de integração MVNet	Porcentagem	O percentual máximo de DIU disponível para atividades de cópia de TTL no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Copiar o comprimento da fila de espera do runtime de integração MVNet	Contagem	O comprimento da fila de espera das atividades de cópia TTL no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Utilização da capacidade de pipeline do runtime de integração MVNet	Porcentagem	O percentual máximo de utilização de DIU para atividades de pipeline no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Percentual de capacidade disponível do pipeline do runtime de integração MVNet	Porcentagem	O percentual máximo de DIU disponível para atividades de pipeline no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Comprimento da fila de espera do pipeline do runtime de integração MVNet	Contagem	O comprimento da fila de espera das atividades de pipeline no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Utilização de capacidade externa do runtime de integração MVNet	Porcentagem	O percentual máximo de utilização de DIU para atividades externas no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Percentual de capacidade disponível externa do runtime de integração MVNet	Porcentagem	O percentual máximo de DIU disponível para atividades externas no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.
Comprimento da fila de espera externa do runtime de integração MVNet	Contagem	O comprimento da fila de espera das atividades externas no runtime de integração de uma rede virtual gerenciada em uma janela de um minuto.

Usando métricas para otimização de desempenho

Usando essas métricas, você pode acompanhar e avaliar perfeitamente o desempenho e a robustez do runtime de integração em uma rede virtual gerenciada. Além disso, você pode descobrir áreas potenciais para melhoria contínua otimizando as configurações de computação e o fluxo de trabalho para maximizar a eficiência.

Para fornecer mais clareza sobre a aplicação prática dessas métricas, aqui estão alguns cenários de exemplo.

Balanced

Se você observar que a utilização da capacidade está abaixo de 100% e o percentual de capacidade disponível está alto, os recursos de computação reservados estão sendo utilizados com eficiência.

Se o comprimento da fila de espera permanecer consistentemente baixo ou enfrentar picos curtos ocasionais, recomendamos que você enfileira outras atividades até que a utilização da capacidade atinja 100%. Isso garante a utilização ideal de recursos e ajuda a manter um fluxo de trabalho suave com atrasos mínimos.

Orientado par melhor desempenho

Se você observar que a utilização da capacidade está consistentemente baixa e o comprimento da fila de espera permanece consistentemente baixo ou apresenta picos curtos ocasionais, isso indica que os recursos de computação reservados são maiores do que a demanda real por atividades.

Nesses casos, independentemente de o percentual de capacidade disponível ser alto ou baixo, é recomendável reduzir os recursos de computação alocados para reduzir os custos. Ao permitir que a computação corresponda aos requisitos reais da carga de trabalho, você pode otimizar a utilização de recursos e obter economia de custos sem comprometer a eficiência de suas operações.

Orientado para otimizar custos

Se você observar que todas as métricas (incluindo utilização da capacidade, percentual de capacidade disponível e comprimento da fila de espera) são altas, os recursos de computação reservados provavelmente são insuficientes para suas atividades.

Nesse cenário, é recomendável aumentar os recursos de computação alocados para reduzir o tempo de fila. Adicionar mais capacidade de computação ajuda a garantir que suas atividades tenham recursos suficientes para serem executadas com eficiência, o que minimiza os atrasos causados por uma fila lotada.

Execução de atividade intermitente

Se você observar que o percentual de capacidade disponível flutua entre baixo e alto em um período de tempo específico, é provável que seja devido à execução intermitente de suas atividades, em que o período de vida útil (TTL) configurado é menor do que o intervalo entre suas atividades. Isso pode ter um impacto significativo no desempenho do seu fluxo de trabalho. Para resolver esse problema, há duas soluções possíveis. Primeiro, você pode enfileirar mais atividades para manter uma carga de trabalho consistente e utilizar os recursos de computação disponíveis com mais eficiência. Mantendo a computação continuamente engajada, você pode evitar o tempo de aquecimento e obter um melhor desempenho. Como alternativa, você pode considerar a ampliação do período de TTL para se alinhar ao intervalo entre suas atividades. Isso garante que os recursos de computação permaneçam disponíveis por mais tempo, reduzindo a frequência de períodos de aquecimento e otimizando a eficiência do custo.

Ao implementar qualquer uma dessas soluções, você pode aprimorar o desempenho do fluxo de trabalho, minimizar as implicações de custo e garantir uma execução mais suave de suas atividades intermitentes.

Conteúdo relacionado

Avance para o artigo a seguir para saber mais sobre redes virtuais gerenciadas e pontos de extremidade privados gerenciados: Rede virtual gerenciada do Azure Data Factory.