evento
Junte-se a nós na FabCon Vegas
31/03, 23 - 2/04, 23
O melhor evento liderado pela comunidade Microsoft Fabric, Power BI, SQL e AI. 31 de março a 2 de abril de 2025.
Registe-se hoje mesmoEste browser já não é suportado.
Atualize para o Microsoft Edge para tirar partido das mais recentes funcionalidades, atualizações de segurança e de suporte técnico.
APLICA-SE A: Azure Data Factory Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Este artigo descreve como planear e gerir custos para o Azure Data Factory.
Primeiro, no início do projeto ETL, você usa uma combinação dos preços do Azure e do consumo por pipeline e calculadoras de preços para ajudar a planejar os custos do Azure Data Factory antes de adicionar quaisquer recursos para o serviço estimar custos. Em seguida, ao adicionar recursos do Azure, revise os custos estimados. Depois de começar a usar os recursos do Azure Data Factory, use os recursos de Gerenciamento de Custos para definir orçamentos e monitorar custos. Você também pode revisar os custos previstos e identificar tendências de gastos para identificar áreas em que você pode querer agir. Os custos do Azure Data Factory são apenas uma parte dos custos mensais na sua fatura do Azure. Observe que este artigo explica apenas como planejar e gerenciar custos para o data factory. Você é cobrado por todos os serviços e recursos do Azure usados em sua assinatura do Azure, incluindo os serviços de terceiros.
A análise de custos no Gerenciamento de Custos dá suporte à maioria dos tipos de conta do Azure, mas não a todos. Para ver a lista completa dos tipos de contas suportados, consulte Compreender os dados do Cost Management. Para exibir dados de custo, você precisa de pelo menos acesso de leitura para uma conta do Azure. Para obter informações sobre a atribuição de acesso aos dados do Azure Cost Management, veja Atribuir acesso aos dados.
Use a calculadora de preços do ADF para obter uma estimativa do custo de execução de sua carga de trabalho ETL no Azure Data Factory. Para usar a calculadora, você precisa inserir detalhes como número de execuções de atividade, número de horas de unidade de integração de dados, tipo de computação usada para Fluxo de Dados, contagem de núcleo, contagem de instâncias, duração de execução e etc.
Uma das perguntas mais comuns para a calculadora de preços é quais valores devem ser usados como entradas. Durante a fase de prova de conceito, você pode conduzir execuções de teste usando conjuntos de dados de amostra para entender o consumo de vários medidores ADF. Em seguida, com base no consumo do conjunto de dados de exemplo, você pode projetar o consumo para o conjunto de dados completo e o cronograma operacional.
Nota
Os preços utilizados neste exemplo abaixo são hipotéticos e não se destinam a implicar preços reais.
Por exemplo, digamos que você precise mover 1 TB de dados diariamente do AWS S3 para o Azure Data Lake Gen2. Você pode executar POC de mover 100 GB de dados para medir a taxa de transferência de ingestão de dados e entender o consumo de faturamento correspondente.
Aqui está um exemplo de detalhes da execução da atividade de cópia (sua quilometragem real variará com base na forma do seu conjunto de dados específico, velocidades de rede, limites de saída na conta do S3, limites de entrada no ADLS Gen2 e outros fatores).
Usando o monitoramento de consumo no nível de execução de pipeline, você pode ver as quantidades de consumo correspondentes do medidor de movimento de dados:
Portanto, o número total de horas DIU necessárias para mover 1 TB por dia durante todo o mês é:
1,2667 (DIU-horas) * (1 TB / 100 GB) * 30 (dias em um mês) = 380 DIU-horas
Agora você pode conectar 30 execuções de atividade e 380 horas DIU na calculadora de preços do ADF para obter uma estimativa da sua fatura mensal:
O Azure Data Factory é executado na infraestrutura do Azure que acumula custos quando você implanta novos recursos. É importante entender que outros custos extras de infraestrutura podem se acumular.
O Azure Data Factory é um serviço de integração de dados elástico e sem servidor criado para escala na nuvem. Não há um cálculo de tamanho fixo que você precisa planejar para a carga de pico; em vez disso, você especifica quanto recurso alocar sob demanda por operação, o que permite projetar os processos de ETL de uma maneira muito mais escalável. Além disso, o ADF é cobrado em um plano baseado no consumo, o que significa que você paga apenas pelo que usar.
Ao criar ou usar recursos do Azure Data Factory, você pode ser cobrado pelos seguintes medidores:
No fim do ciclo de faturação, são somados os custos de cada medidor. Sua fatura ou fatura mostra uma seção para todos os custos do Azure Data Factory. Há um item de linha separado para cada medidor.
Quando você cria recursos para o Azure Data Factory (ADF), recursos para outros serviços do Azure também são criados. Estas incluem:
Nota
Você pode atribuir a mesma tag ao seu ADF e a outros recursos do Azure, colocando-os na mesma categoria para exibir seu faturamento consolidado. A tag ADF será herdada por todos os IRs SSIS nela. Se você alterar sua tag ADF, precisará parar e reiniciar todos os IRs SSIS nela para que eles herdem a nova tag, consulte a seção Reconfigurar IR SSIS.
Você pode pagar pelas cobranças do Azure Data Factory com seu crédito de pré-pagamento do Azure. No entanto, não pode utilizar o crédito do Pré-pagamento do Azure para pagar os custos de produtos e serviços de terceiros, incluindo os do Azure Marketplace.
Os custos do Azure Data Factory podem ser monitorados nos níveis de fábrica, pipeline, pipeline-run e activity-run.
Ao usar os recursos do Azure com o Data Factory, você incorre em custos. Os custos unitários de uso de recursos do Azure variam por intervalos de tempo (segundos, minutos, horas e dias) ou por uso de unidade (bytes, megabytes e assim por diante). Assim que o uso do Data Factory começa, os custos são incorridos e você pode ver os custos na análise de custos.
Ao usar a análise de custos, você visualiza os custos do Data Factory em gráficos e tabelas para diferentes intervalos de tempo. Alguns exemplos são por dia, mês atual e anterior, e ano. Você também visualiza os custos em relação aos orçamentos e custos previstos. Mudar para visualizações mais longas ao longo do tempo pode ajudá-lo a identificar tendências de gastos. E você vê onde o excesso de gastos pode ter ocorrido. Se você criou orçamentos, também pode ver facilmente onde eles são excedidos.
Para visualizar os custos do Data Factory na análise de custos:
Os custos mensais reais são mostrados quando você abre inicialmente a análise de custos. Aqui está um exemplo mostrando todos os custos mensais de uso.
Aqui está um exemplo que mostra os custos apenas para o Data Factory.
No exemplo anterior, vê o custo atual do serviço. Os custos por regiões do Azure (locais) e os custos do Data Factory por grupo de recursos também são mostrados. A partir daqui, você pode explorar os custos por conta própria.
Em certos casos, você pode querer uma discriminação granular do custo das operações dentro de nossa fábrica, por exemplo, para fins de chargeback. Integrando a plataforma de análise de custos de faturação do Azure, o Data Factory pode separar os encargos de faturação para cada pipeline. Ao optar pelo relatório de faturamento detalhado do Azure Data Factory para uma fábrica, você pode entender melhor quanto cada pipeline está custando a você, dentro da fábrica acima mencionada.
Você precisa optar por cada fábrica para a qual deseja faturamento detalhado. Para ativar o recurso de faturamento detalhado por pipeline,
Nota
As configurações detalhadas de faturamento do pipeline não estão incluídas nos modelos ARM exportados da sua fábrica. Isso significa que a Integração e Entrega Contínua (CI/CD) não substituirá os comportamentos de faturamento para a fábrica. Isso permite que você defina diferentes comportamentos de faturamento para fábricas de desenvolvimento, teste e produção.
Quando o recurso estiver habilitado, cada pipeline terá uma entrada separada em nosso relatório de faturamento: ele mostra exatamente quanto custa cada pipeline, no intervalo de tempo selecionado. Ele permite que você identifique tendências de gastos e perceba gastos excessivos, se houver.
Usando as ferramentas gráficas da Análise de Custos, você obtém gráficos e linhas de tendências semelhantes aos mostrados acima, mas para pipelines individuais. Você também obtém a visualização de resumo por nome de fábrica, pois o nome da fábrica é incluído no relatório de faturamento, permitindo a filtragem adequada quando necessário.
A mudança impacta apenas a forma como as contas são emitidas daqui para frente, e não altera cobranças passadas. Por favor, dê algum tempo antes que a alteração seja preenchida para o relatório de faturamento: normalmente, a alteração é refletida dentro de 1 dia.
Aviso
Ao optar pela configuração por faturamento, haverá uma entrada para cada pipeline em sua fábrica. Por favor, esteja particularmente ciente se você tiver uma quantidade excessiva de dutos na fábrica, pois isso pode aumentar significativamente e complicar seu relatório de faturamento.
A seguir estão as limitações conhecidas dos recursos de faturamento por pipeline. Esses medidores de faturamento não serão arquivados sob o pipeline que o gira, mas sim sob um item de linha de fall-back para sua fábrica.
Dependendo dos tipos de atividades que você tem em seu pipeline, da quantidade de dados que você está movendo e transformando e da complexidade da transformação, a execução de um pipeline girará diferentes medidores de faturamento no Azure Data Factory.
Você pode exibir a quantidade de consumo de medidores diferentes para execuções de pipeline individuais na experiência do usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitor & Manage na folha data factory do portal do Azure. Se você já estiver na UX do ADF, selecione no ícone Monitor na barra lateral esquerda. A exibição de monitoramento padrão é a lista de execuções de pipeline.
Clicar no botão Consumo ao lado do nome do pipeline exibirá uma janela pop-up mostrando o consumo da execução do pipeline agregado em todas as atividades dentro do pipeline.
A exibição de consumo de execução de pipeline mostra a quantidade consumida para cada medidor de ADF para a execução de pipeline específica, mas não mostra o preço real cobrado, porque o valor cobrado depende do tipo de conta do Azure que você tem e do tipo de moeda usada. Para ver a lista completa dos tipos de contas suportados, consulte Compreender os dados do Cost Management.
Depois de entender o consumo agregado no nível de execução do pipeline, há cenários em que você precisa detalhar ainda mais e identificar qual é a atividade mais cara dentro do pipeline.
Para ver o consumo no nível de execução de atividade, vá para a interface do usuário Author & Monitor da fábrica de dados. Na guia Monitor, onde você vê uma lista de execuções de pipeline, selecione o link de nome de pipeline para acessar a lista de execuções de atividade na execução de pipeline. Selecione no botão Saída ao lado do nome da atividade e procure a propriedade billableDuration na saída JSON:
Aqui está um exemplo de uma execução de atividade de cópia:
E aqui está um exemplo de uma execução de atividade de Fluxo de Dados de Mapeamento:
Pode criar orçamentos para gerir custos e criar alertas que notifiquem automaticamente as partes interessadas das anomalias nos gastos e do risco em fazer gastos excessivos. Os alertas são baseados nos gastos em comparação com os orçamentos e os limites de custos. Os orçamentos e alertas são criados para subscrições do Azure e grupos de recursos, pelo que são úteis como parte de uma estratégia geral de monitorização de custos.
Os orçamentos podem ser criados com filtros para recursos ou serviços específicos no Azure se você quiser mais granularidade presente em seu monitoramento. Os filtros ajudam a garantir que você não crie acidentalmente novos recursos que custam dinheiro extra. Para obter mais informações sobre as opções de filtro disponíveis quando você cria um orçamento, consulte Opções de grupo e filtro.
Também pode exportar os dados de custos para uma conta de armazenamento. Isso é útil quando você precisa ou outras pessoas para fazer outra análise de dados para custos. Por exemplo, as equipes financeiras podem analisar os dados usando o Excel ou o Power BI. Você pode exportar seus custos em uma programação diária, semanal ou mensal e definir um intervalo de datas personalizado. A exportação de dados de custo é a maneira recomendada de recuperar conjuntos de dados de custo.
evento
Junte-se a nós na FabCon Vegas
31/03, 23 - 2/04, 23
O melhor evento liderado pela comunidade Microsoft Fabric, Power BI, SQL e AI. 31 de março a 2 de abril de 2025.
Registe-se hoje mesmoFormação
Percurso de aprendizagem
Controle os gastos do Azure e gerencie contas com o Microsoft Cost Management + Billing - Training
Saiba como monitorizar e controlar os seus gastos do Azure e a otimizar a utilização dos recursos do Azure.
Certificação
Microsoft Certified: Azure Data Engineer Associate - Certifications
Demonstre a compreensão das tarefas comuns de engenharia de dados para implementar e gerenciar cargas de trabalho de engenharia de dados no Microsoft Azure, usando vários serviços do Azure.
Documentação
Saiba mais sobre o modelo de preços em diferentes tipos de tempo de execução de integração a partir de alguns exemplos.
Noções básicas sobre os preços do Azure Data Factory por meio de exemplos - Azure Data Factory
Este artigo explica e demonstra o modelo de preços do Azure Data Factory com exemplos detalhados
Exemplo de preços: Integração de dados na VNET gerenciada do Azure Data Factory - Azure Data Factory
Este artigo mostra como estimar o preço do Azure Data Factory para executar a integração de dados usando a VNET gerenciada.