Monitorar um tempo de execução de integração em uma rede virtual gerenciada

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Você pode usar uma rede virtual gerenciada pelo Azure Data Factory para conectar com segurança suas fontes de dados a uma rede virtual gerenciada pelo serviço Data Factory. Usando esse recurso, você pode estabelecer um ambiente privado e isolado para seus processos de integração e orquestração de dados.

Ao usar uma rede virtual gerenciada, você combina os recursos de integração e orquestração de dados no Data Factory com a segurança e a flexibilidade das redes virtuais do Azure. Ele permite que você crie pipelines de integração de dados robustos, escaláveis e seguros que se conectam perfeitamente aos seus recursos de rede, sejam eles locais ou na nuvem.

Um problema comum da computação gerenciada é a falta de visibilidade sobre desempenho e integridade, especialmente em um ambiente de rede virtual gerenciado. Sem um monitoramento adequado, identificar e resolver problemas torna-se um desafio e pode levar a possíveis atrasos, erros e degradação do desempenho.

Usando o monitoramento aprimorado no Data Factory, você pode obter informações valiosas sobre seus processos de integração de dados. Esses insights podem levar a uma maior eficiência, melhor utilização de recursos e melhor desempenho geral. Com monitoramento proativo e alertas oportunos, você pode resolver problemas, otimizar fluxos de trabalho e garantir a execução suave de seus pipelines de integração de dados no ambiente de rede virtual gerenciado.

Novas métricas

A introdução de novas métricas melhora a visibilidade e os recursos de monitoramento em ambientes de rede virtual gerenciados.

O Azure Data Factory fornece três tipos distintos de pools de computação:

• Calcular para uma atividade de cópia
• Computação para uma atividade de pipeline, como uma pesquisa
• Computação para uma atividade externa, como um bloco de anotações do Azure Databricks

Esses pools de computação oferecem flexibilidade e escalabilidade para acomodar diversas cargas de trabalho e alocar recursos de forma otimizada. Cada um é adaptado para lidar com requisitos específicos de execução de atividades.

Para ajudar a garantir um monitoramento consistente e abrangente em todos os pools de computação, implementamos os mesmos conjuntos de métricas de monitoramento:

• Utilização da capacidade
• Percentagem de capacidade disponível
• Comprimento da fila de espera

Independentemente do tipo de pool de computação que você está usando, você pode acessar e analisar um conjunto padronizado de métricas para obter informações sobre o desempenho e a integridade de suas atividades de integração de dados.

Nota

Essas métricas são válidas somente quando você está habilitando o tempo de vida (TTL) em um tempo de execução de integração em uma rede virtual gerenciada.

Metric	Unit	Description
Utilização da capacidade de cópia do tempo de execução da integração MVNet	Percentagem	A porcentagem máxima de utilização da Unidade de Integração de Dados (DIU) para atividades de cópia TTL no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Copie a porcentagem de capacidade disponível do tempo de execução da integração MVNet	Percentagem	A porcentagem máxima de DIU disponível para atividades de cópia TTL no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Copiar o comprimento da fila de espera do tempo de execução da integração MVNet	Count	O comprimento da fila de espera das atividades de cópia TTL no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Utilização da capacidade de pipeline do tempo de execução da integração MVNet	Percentagem	A porcentagem máxima de utilização de DIU para atividades de pipeline no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Porcentagem de capacidade disponível do pipeline do tempo de execução da integração MVNet	Percentagem	A porcentagem máxima de DIU disponível para atividades de pipeline no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Comprimento da fila de espera do pipeline do tempo de execução da integração MVNet	Count	O comprimento da fila de espera das atividades de pipeline no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Utilização da capacidade externa do tempo de execução da integração MVNet	Percentagem	A porcentagem máxima de utilização de DIU para atividades externas no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Porcentagem de capacidade externa disponível do tempo de execução da integração MVNet	Percentagem	A porcentagem máxima de DIU disponível para atividades externas no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.
Comprimento da fila de espera externa do tempo de execução da integração MVNet	Count	A duração da fila de espera de atividades externas no tempo de execução de integração de uma rede virtual gerenciada dentro de uma janela de 1 minuto.

Para obter mais informações sobre essas métricas, consulte Métricas suportadas para Microsoft.DataFactory/factories.

Usando métricas para otimização de desempenho

Usando as métricas, você pode rastrear e avaliar perfeitamente o desempenho e a robustez do seu tempo de execução de integração em uma rede virtual gerenciada. Você também pode descobrir áreas potenciais para melhoria contínua otimizando as configurações de computação e o fluxo de trabalho para maximizar a eficiência.

Para fornecer mais clareza sobre a aplicação prática dessas métricas, aqui estão alguns cenários de exemplo.

Equilibrado

Se você observar que a utilização da capacidade está abaixo de 100% e a porcentagem de capacidade disponível é alta, os recursos de computação que você reservou estão sendo utilizados de forma eficiente.

Se o comprimento da fila de espera permanecer consistentemente baixo ou tiver picos curtos ocasionais, recomendamos que você enfileire outras atividades até que a utilização da capacidade atinja 100%. Essa abordagem ajuda a garantir a utilização ideal de recursos e ajuda a manter um fluxo de trabalho suave com atrasos mínimos.

Orientação para o desempenho

Se você observar que a utilização da capacidade é consistentemente baixa e o comprimento da fila de espera permanece consistentemente baixo ou experimenta picos curtos ocasionais, os recursos de computação que você reservou são maiores do que a demanda por atividades.

Nesses casos, independentemente de a porcentagem de capacidade disponível ser alta ou baixa, recomendamos que você reduza os recursos de computação alocados para reduzir seus custos. Ao ajustar a computação para corresponder aos requisitos de carga de trabalho, você pode otimizar a utilização de recursos e economizar custos sem comprometer a eficiência de suas operações.

Orientação para os custos

Se você notar que todas as métricas (incluindo a utilização da capacidade, a porcentagem de capacidade disponível e o comprimento da fila de espera) são altas, os recursos de computação que você reservou provavelmente são insuficientes para suas atividades.

Nesse cenário, recomendamos que você aumente os recursos de computação alocados para reduzir o tempo de fila. Adicionar mais capacidade de computação ajuda a garantir que suas atividades tenham recursos suficientes para serem executadas de forma eficiente, o que minimiza quaisquer atrasos causados por uma fila lotada.

Execução intermitente de atividades

Se você notar que a Porcentagem de Capacidade Disponível flutua entre baixa e alta dentro de um período de tempo específico, é provável que seja devido à execução intermitente de suas atividades, onde o período de tempo de vida (TTL) que você configurou é menor do que o intervalo entre suas atividades. Isso pode ter um impacto significativo no desempenho do seu fluxo de trabalho. Para resolver esta questão, existem duas soluções possíveis. Primeiro, você pode enfileirar mais atividades para manter uma carga de trabalho consistente e utilizar os recursos de computação disponíveis de forma mais eficaz. Ao manter a computação continuamente ativada, você pode evitar o tempo de aquecimento e obter um melhor desempenho. Como alternativa, você pode considerar ampliar o período TTL para alinhar com o intervalo entre suas atividades. Isso garante que os recursos de computação permaneçam disponíveis por um período mais longo, reduzindo a frequência dos períodos de aquecimento e otimizando a eficiência de custos.

Ao implementar qualquer uma dessas soluções, você pode melhorar o desempenho do seu fluxo de trabalho, minimizar as implicações de custos e garantir uma execução mais suave de suas atividades intermitentes.

Conteúdos relacionados

Avance para o seguinte artigo para saber mais sobre redes virtuais geridas e pontos de extremidade privados geridos: Rede virtual gerida do Azure Data Factory.