Compartilhar via

Planejar o gerenciamento de custos para o Azure Data Factory

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como você planeja e gerencia custos para o Azure Data Factory.

Primeiro, no início do projeto de ETL, você usa uma combinação de preços do Azure e calculadoras de preços e consumo por pipeline, para ajudar a planejar os custos do Azure Data Factory antes de adicionar recursos para o serviço a fim de estimar os custos. Em seguida, ao adicionar recursos do Azure, examine os custos estimados. Depois de começar a usar os recursos do Azure Data Factory, use os recursos de Gerenciamento de Custos para definir orçamentos e monitorar custos. Você também pode examinar os custos previstos e identificar as tendências de gastos para identificar as áreas em que talvez queira agir. Os custos do Azure Data Factory são apenas uma parte dos custos mensais em sua fatura do Azure. Observe que este artigo explica apenas como planejar e gerenciar custos para o data factory. Você é cobrado por todos os serviços e recursos do Azure usados em sua assinatura do Azure, incluindo os serviços de terceiros.

Pré-requisitos

A análise de custo no Gerenciamento de Custos dá suporte à maioria dos tipos de conta do Azure, mas não a todos. Para exibir a lista completa dos tipos de contas compatíveis, confira Entender os dados do Gerenciamento de Custos. Para visualizar os dados de custo, você precisará, pelo menos, de acesso de leitura para uma conta do Azure. Para obter informações sobre como atribuir o acesso aos dados do Gerenciamento de Custos do Azure, confira Atribuir acesso aos dados.

Estimar os custos antes de usar o Azure Data Factory

Use a calculadora de preços do ADF para obter uma estimativa do custo da execução da carga de trabalho do ETL no Azure Data Factory. Para usar a calculadora, você precisa inserir detalhes como o número de execuções de atividade, o número de horas de unidade de integração de dados, o tipo de computação usado para Fluxo de Dados, a contagem de núcleos, a contagem de instâncias, a duração da execução e assim por diante.

Uma das perguntas mais frequentes para a calculadora de preços é sobre quais valores devem ser usados como entradas. Durante a fase de prova de conceito, você pode realizar execuções de avaliação usando conjuntos de dados de exemplo para entender o consumo de vários medidores do ADF. Em seguida, com base no consumo do conjunto de dados de exemplo, você pode projetar o consumo para todo o conjunto de dados e agendamento operacional.

Observação

Os preços usados neste exemplo abaixo são hipotéticos e não têm o objetivo de sugerir o preço real.

Por exemplo, digamos que você precise mover 1 TB de dados diariamente do AWS S3 para o Azure Data Lake Gen2. Você pode executar a POC de mover 100 GB de dados para medir a taxa de transferência de ingestão de dados e entender o consumo de cobrança correspondente.

Aqui estão os detalhes de execução de uma atividade de cópia de amostra (seu nível de uso real variará com base na forma de seu conjunto de dados específico, bem como das velocidades de rede, limites de saída na conta S3, limites de entrada em ADLS Gen2 e outros fatores).

S3 copy run

Usando o monitoramento de consumo no nível de execução de pipeline, você poderá ver as quantidades correspondentes de consumo de medidor de movimentação de dados:

S3 copy pipeline consumption

Portanto, o número total de horas de DIU necessárias para mover 1 TB por dia para o mês inteiro é:

1,2667 (horas de DIU) * (1 TB/100 GB) * 30 (dias em um mês) = 380 horas de DIU

Agora você pode conectar 30 execuções de atividade e 380 horas de DIU na calculadora de preços do ADF para obter uma estimativa da sua fatura mensal:

S3 copy pricing calculator

Entender o modelo de cobrança completo do Azure Data Factory

O Azure Data Factory é executado na infraestrutura do Azure que acumula custos quando você implanta um novo recurso. É importante entender que outros custos extras de infraestrutura podem se acumular.

Como você é cobrado pelo Azure Data Factory

O Azure Data Factory é um serviço de integração de dados elástico e sem servidor criado para escala de nuvem. Não há uma computação de tamanho fixo que você precise planejar para carga de pico; em vez disso, você especifica quanto recurso alocar sob demanda por operação, o que permite projetar os processos ETL de uma maneira muito mais escalável. Além disso, o ADF é cobrado em um plano baseado em consumo, o que significa que você paga apenas pelo que usa.

Ao criar ou usar os recursos do Azure Data Factory, você pode ser cobrado pelos seguintes medidores:

  • Execuções de atividades de orquestração – Você é cobrado por isso com base no número de execuções de atividades orquestradas.
  • Horas de unidade de integração de dados (DIU) - Quanto às atividades de cópia executadas no Azure Integration Runtime, você é cobrado com base no número de DIUs usadas e na duração da execução.
  • Horas de vCore – Quanto à execução e depuração de fluxo de dados, você é cobrado com base no tipo de computação, número de vCores e duração da execução.

Ao final do período de cobrança, os preços de cada medidor serão somados. A fatura mostrará uma seção para todos os custos do Azure Data Factory. Há um item em linha separada para cada medidor.

Outros custos que podem se acumular com o Azure Data Factory

Quando você cria recursos para o Azure Data Factory (ADF), os recursos para outros serviços do Azure também são criados. Elas incluem:

  • Execução da atividade do pipeline
  • Execução de atividade do pipeline externo
  • Criação/edição/recuperação/monitoramento de artefatos do Data factory
  • Duração do SSIS Integration Runtime (IR) com base no tipo e na duração da instância

Observação

Você pode atribuir a mesma marca ao ADF e a outros recursos do Azure, colocando-os na mesma categoria para exibir sua cobrança consolidada. A marca do ADF será herdada por todo o IRs do SSIS. Se você alterar a marca do ADF, será necessário parar e reiniciar todas as IRs do SSIS para que elas herdem a nova marca, consulte a seção Reconfigurar o IR do SSIS.

Usando o pagamento antecipado do Azure com o Azure Data Factory

Os encargos do Azure Data Factory podem ser pagos com seu crédito de pagamento antecipado do Azure. No entanto, você não pode usar o crédito de pagamento antecipado do Azure para pagar por cobranças de produtos e serviços de terceiros, inclusive aqueles do Azure Marketplace.

Monitorar custos

Os custos do Azure Data Factory podem ser monitorados nos níveis de alocador, pipeline, execução de pipeline e de atividade.

Monitorar os custos no nível de fábrica com a Análise de Custos

Ao usar os recursos do Azure com o Data Factory, você tem custos. Os custos de unidade de uso de recursos do Azure variam de acordo com os intervalos de tempo (segundos, minutos, horas e dias) ou por uso de unidade (bytes, megabytes e assim por diante). Assim que o Data Factory iniciar, os custos serão incorridos e você poderá ver os custos na análise de custo.

Ao usar a análise de custos, você vê os custos do Data Factory em grafos e tabelas para diferentes intervalos de tempo. Alguns exemplos são por dia, mês atual e anterior e ano. Você também visualiza os custos em relação aos orçamentos e os custos previstos. Alternar para exibições mais extensas ao longo do tempo pode ajudar você a identificar tendências de gastos. E você verá onde pode ter ocorrido excessos de gastos. Se você tiver criado orçamentos, também será possível ver com facilidade onde eles foram excedidos.

Para exibir os custos do Data Factory na análise de custo:

  1. Entre no portal do Azure.
  2. Abra o escopo no portal do Azure e selecione Análise de custos no menu. Por exemplo, navegue até Inscrições, selecione uma assinatura na lista e depois escolha Análise de custo no menu. Selecione Escopo para alternar para um escopo diferente na análise de custos.
  3. Por padrão, o custo dos serviços é mostrado no primeiro gráfico de rosca. Selecione a área no gráfico rotulada como Azure Data Factory v2.

Os custos mensais reais são mostrados quando a análise de custo é aberta inicialmente. Aqui está um exemplo que mostra todos os custos de uso mensal.

Example showing accumulated costs for a subscription

  • Para restringir os custos para um único serviço, como o Data Factory, selecione Adicionar filtro e, em seguida, selecione Nome do serviço. Em seguida, selecione Azure Data Factory v2.

Este é um exemplo que mostra os custos apenas para o Data Factory.

Example showing accumulated costs for ServiceName

No exemplo anterior, você vê o custo atual do serviço. São mostrados também os custos de região do Azure (localizações) e do Data Factory por grupo de recursos. A partir daqui, você poderá explorar os custos por conta própria.

Monitorar os custos no nível de pipeline com a Análise de Custos

Em certos casos, você pode querer um detalhamento granular do custo das operações dentro de nossa fábrica, por exemplo, para fins de estorno. Integrando a plataforma de análise de custos do Azure Billing, o Azure Data Factory pode separar as cobranças de faturamento para cada pipeline. Ao optar pelo relatório de cobrança detalhado do Azure Data Factory para uma fábrica, você pode entender melhor quanto cada pipeline está custando, dentro da fábrica mencionada.

Você precisa aceitar cada fábrica para a qual deseja cobrança detalhada. Para ativar o recurso de cobrança detalhado por pipeline,

  1. Acesse o Portal do Azure Data Factory
  2. Na guia Gerenciar, selecione Configuração do Factory na seção Geral
  3. Selecione Mostrar relatório de cobrança por pipeline
  4. Publicar a alteração

Screenshot of steps to enable per pipeline billing feature.

Observação

As configurações detalhadas de cobrança de pipeline não estão incluídas nos modelos do ARM exportados de sua fábrica. Isso significa que a CI/CD (Integração e Entrega Contínua) não substituirá os comportamentos de cobrança para a fábrica. Isso permite definir diferentes comportamentos de cobrança para fábricas de desenvolvimento, teste e produção.

Depois que o recurso estiver habilitado, cada pipeline terá uma entrada separada em nosso relatório de Cobrança: ele mostra exatamente quanto cada pipeline custa, no intervalo de tempo selecionado. Ele permite que você identifique tendências de gastos e observe gastos excessivos, se ocorrerem.

Screenshot of example showing granular cost for a pipeline.

Usando as ferramentas de criação de grafo da Análise de Custos, você obtém gráficos e linhas de tendências semelhantes, conforme mostrado acima, mas para pipelines individuais. Você também obtém a exibição de resumo pelo nome de fábrica, pois o nome de fábrica é incluído no relatório de cobrança, permitindo a filtragem adequada quando necessário.

A alteração afeta somente a forma como as contas são emitidas daqui para frente e não altera os encargos anteriores. Aguarde um pouco até que a alteração seja preenchida no relatório de cobrança: normalmente, a alteração aparece em até um dia.

Aviso

Ao optar pela configuração por cobrança, haverá uma entrada para cada pipeline em sua fábrica. Lembre-se de que você tem uma quantidade excessiva de pipelines na fábrica, pois isso pode aumentar significativamente e complicar o relatório de cobrança.

Limitações

A seguir estão as limitações conhecidas dos recursos de cobrança por pipeline. Esses medidores de faturamento não serão arquivados no pipeline que o gira, mas serão arquivados em um item de linha alternativo para sua fábrica.

Monitorar o consumo no nível de execução do pipeline no Azure Data Factory

Dependendo dos tipos de atividades que você tem em seu pipeline, quantos dados você está movendo e transformando e a complexidade da transformação, a execução de um pipeline gerará diferentes medidores de cobrança no Azure Data Factory.

Você pode exibir a quantidade de consumo de diferentes medidores para execuções de pipeline individuais na experiência do usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitorar e gerenciar na folha de data factory do portal do Azure. Se você já estiver no ADF UX, selecione no ícone Monitor na barra lateral esquerda. O modo de exibição de monitoramento padrão é a lista de execuções de pipeline.

Clicar no botão Consumo ao lado do nome do pipeline exibirá uma janela pop-up mostrando a você o consumo da execução do pipeline agregado em todas as atividades nesse pipeline.

Pipeline run consumption

Pipeline consumption details

A exibição de consumo de execução de pipeline mostra o valor consumido para cada medidor ADF para a execução de pipeline específica, mas não mostra o preço real cobrado, porque o valor cobrado depende do tipo de conta do Azure que você possui e do tipo de moeda utilizada. Para exibir a lista completa dos tipos de contas compatíveis, confira Entender os dados do Gerenciamento de Custos.

Monitore o consumo no nível de execução da atividade no Azure Data Factory

Depois de entender o consumo agregado no nível de execução do pipeline, há cenários em que você precisa fazer uma busca detalhada e identificar qual é a atividade mais onerosa no pipeline.

Para ver o consumo no nível de execução da atividade, vá para a interface do usuário Criar e Monitorar do data factory. Na guia Monitor, em que você vê uma lista de execuções de pipeline, clique no link Nome do pipeline para acessar a lista de execuções de atividade na execução do pipeline. Clique no botão Saída ao lado do nome da atividade e procure a propriedade billableDuration na saída JSON:

Aqui está um exemplo de uma execução de atividade de cópia:

Copy output

E aqui está um exemplo de uma execução de atividade do Fluxo de Dados de Mapeamento:

Dataflow output

Criar orçamentos

É possível criar orçamentos para gerenciar custos e criar alertas que notificam automaticamente os stakeholders de anomalias de gastos e risco de gastos em excesso. Os alertas são baseados nos gastos comparados com os limites de orçamento e de custo. Orçamentos e alertas são criados para assinaturas e grupos de recursos do Azure, para que sejam úteis como parte de uma estratégia de monitoramento de custo geral.

Os orçamentos podem ser criados com filtros para recursos ou serviços específicos no Azure se você quiser mais granularidade no monitoramento. Os filtros ajudam a garantir que você não crie acidentalmente novos recursos com custo extra. Para obter mais informações sobre as opções de filtro disponíveis ao criar um orçamento, confira Opções de grupo e filtro.

Exportar dados de custo

Você também pode exportar seus dados de custo para uma conta de armazenamento. Isso é útil quando você ou outras pessoas precisam realizar mais análises de dados para custos. Por exemplo, equipes de finanças podem analisar dados usando o Excel ou o Power BI. Você pode exportar seus custos em uma agenda diário, semanal ou mensal e definir um intervalo de datas personalizado. A exportação de dados de custo é a maneira recomendada de recuperar conjuntos de dados de custos.

Conteúdo relacionado