Partilhar via

Ingestão e normalização de dados

  • Artigo

Este artigo ajuda você a entender o recurso de ingestão e normalização de dados dentro do FinOps Framework e como implementá-lo no Microsoft Cloud.

Definição

A ingestão e normalização de dados refere-se ao processo de coleta, transformação e organização de dados de várias fontes em um único repositório de fácil acesso.

Reúna dados de custo, utilização, desempenho e outros dados corporativos de provedores de nuvem, fornecedores e sistemas locais. A recolha de dados pode incluir:

  • Dados internos de TI. Por exemplo, a partir de um banco de dados de gerenciamento de configuração (CMDB) ou sistemas de gerenciamento de ativos de TI (ITAM).
  • Dados específicos da empresa, como hierarquias organizacionais e métricas que mapeiam os custos da nuvem ou quantificam o valor comercial. Por exemplo, receita, conforme definido por suas declarações de missão organizacional e divisional.

Considere como os dados são relatados e planeje os requisitos de padronização de dados para oferecer suporte a relatórios sobre dados semelhantes de várias fontes, como dados de custo de várias nuvens ou tipos de conta. Prefira padrões abertos e interoperabilidade com e entre fornecedores, fornecedores e ferramentas internas. Também pode exigir a reestruturação de dados de forma lógica e significativa, categorizando ou marcando dados para que possam ser facilmente acessados, analisados e compreendidos.

Quando munidas de uma coleção abrangente de informações de custo e uso vinculadas ao valor comercial, as organizações podem capacitar as partes interessadas e acelerar os objetivos de outros recursos de FinOps. As partes interessadas são capazes de tomar decisões mais informadas, conduzindo a uma utilização mais eficiente dos recursos e a poupanças de custos potencialmente significativas.

Antes de começar

Embora a ingestão e normalização de dados sejam críticas para a eficiência e eficácia a longo prazo de qualquer prática de FinOps, não é um requisito de bloqueio para o seu conjunto inicial de investimentos em FinOps. Se for sua primeira iteração através do ciclo de vida do FinOps, considere recursos mais leves que podem oferecer retorno sobre o investimento mais rápido, como análise de dados e showback. A ingestão e normalização de dados pode exigir tempo e esforço significativos, dependendo do tamanho e da complexidade da conta. Recomendamos que se concentre neste processo assim que tiver o nível certo de compreensão do esforço e do compromisso das principais partes interessadas para apoiar esse esforço.

Introdução

Quando você começa a gerenciar custos na nuvem, usa as ferramentas nativas disponíveis no portal ou por meio do Power BI. Se precisar de mais, você pode baixar os dados para análise local ou, possivelmente, criar um pequeno relatório ou mesclá-lo com outro conjunto de dados. Eventualmente, você precisa automatizar esse processo, que é onde entra a "ingestão de dados". Como ponto de partida, nos concentramos na ingestão de dados de custos em um armazenamento de dados comum.

  • Antes de ingerir dados de custos, pense nas suas necessidades de relatórios.
    • Converse com as partes interessadas para garantir que você tenha uma compreensão firme do que elas precisam. Tente entender suas motivações e objetivos para garantir que os dados ou relatórios os ajudem.
    • Identifique os dados de que necessita, de onde pode obtê-los e quem lhe pode dar acesso. Anote todos os conjuntos de dados comuns que possam exigir normalização.
    • Determine o nível de granularidade necessário e a frequência com que os dados precisam ser atualizados. Os dados de custos diários podem ser um desafio para gerenciar para uma grande conta. Considere agregações mensais para reduzir custos e aumentar o desempenho e a confiabilidade da consulta, se isso atender às suas necessidades de relatórios.
  • Considere o uso de uma plataforma FinOps de terceiros.
    • Analise as soluções de terceiros disponíveis no Azure Marketplace.
    • Se você decidir criar sua própria solução, considere começar com hubs FinOps, parte do kit de ferramentas FinOps de código aberto fornecido pela Microsoft.
      • Os hubs FinOps acelerarão seu desenvolvimento e ajudarão você a se concentrar na criação dos recursos de que precisa em vez de infraestrutura.
  • Selecione a solução de detalhes de custo certa para você. Recomendamos exportações programadas, que enviam dados de custo para uma conta de armazenamento diariamente ou mensalmente.
    • Se você usa exportações diárias, observe que os dados são enviados por push para um novo arquivo todos os dias. Certifique-se de selecionar apenas o último dia ao relatar custos.
  • Determine se você precisa de uma integração de dados ou tecnologia de fluxo de trabalho para processar dados.
    • Em uma fase inicial, você poderá manter os dados na conta de armazenamento exportada sem outro processamento. Recomendamos que você mantenha os dados lá para contas pequenas com requisitos leves e personalização mínima.
    • Se você precisar ingerir dados em um armazenamento de dados mais avançado ou executar a limpeza ou normalização de dados, talvez seja necessário implementar um pipeline de dados. Escolha uma tecnologia de orquestração de pipeline de dados.
  • Determine quais são os requisitos de armazenamento de dados.
    • Em uma fase inicial, recomendamos o uso da conta de armazenamento exportada para simplicidade e menor custo.
    • Se você precisar de um mecanismo de consulta avançado ou esperar atingir as limitações de tamanho de dados em suas ferramentas de relatório, considere a ingestão de dados em um armazenamento de dados analíticos. Escolha um armazenamento de dados analíticos.

Tirar partido do essencial

Neste ponto, você tem um pipeline de dados e está ingerindo dados em um repositório de dados central. Ao ir além do básico, considere os seguintes pontos:

  • Normalize os dados para um esquema padrão para oferecer suporte ao alinhamento e à mistura de dados de várias fontes.
    • Para dados de custo, recomendamos o uso do esquema FinOps Open Cost & Usage Specification (FOCUS).
    • Os hubs FinOps incluem um relatório do Power BI que normaliza os dados para o esquema FOCUS, o que pode ser um bom ponto de partida.
    • Para obter um exemplo do esquema FOCUS com dados do Azure, consulte o relatório de exemplo FOCUS.
  • Complemente os dados de custos na nuvem com hierarquias e orçamentos organizacionais.
    • Considere rotular ou marcar requisitos para mapear os custos da nuvem para hierarquias organizacionais.
  • Enriqueça os dados de recursos e soluções na nuvem com dados internos de CMDB ou ITAM.
  • Considere quais métricas internas de negócios e receita são necessárias para mapear os custos da nuvem para o valor comercial.
  • Determine quais outros conjuntos de dados são necessários com base em suas necessidades de relatórios:

Saiba mais na FinOps Foundation

Esse recurso faz parte do FinOps Framework da FinOps Foundation, uma organização sem fins lucrativos dedicada ao avanço do gerenciamento e otimização de custos na nuvem. Para obter mais informações sobre FinOps, incluindo manuais úteis, programas de treinamento e certificação e muito mais, consulte o artigo Capacidade de ingestão e normalização de dados na documentação do FinOps Framework.

Próximos passos