Share via

Ingestão e normalização de dados

  • Artigo

Este artigo ajudará você a entender a capacidade de ingestão e normalização de dados no FinOps Framework e como implementá-lo no Microsoft Cloud.

Definição

A ingestão e a normalização de dados referem-se ao processo de coleta, transformação e organização de dados de várias fontes em um único repositório de fácil acesso.

Reúna dados de custo, utilização, desempenho e outros dados comerciais de provedores de nuvem, fornecedores e sistemas locais. A coleta de dados pode incluir:

  • Dados de TI internos. Por exemplo, de um CMDB (banco de dados de gerenciamento de configuração) ou sistemas de ITAM (gerenciamento de ativos de TI).
  • Dados específicos de negócios, como hierarquias organizacionais e métricas que mapeiam os custos da nuvem ou quantificam o valor comercial. Por exemplo, a receita, conforme definida por suas instruções de missão organizacional e divisional.

Considere como os dados são relatados e planeje os requisitos de padronização de dados para dar suporte à geração de relatórios sobre dados semelhantes de várias fontes, como dados de custo de várias nuvens ou tipos de conta. Prefira padrões abertos e interoperabilidade com e entre provedores, fornecedores e ferramentas internas. Também pode ser necessário reestruturar os dados de forma lógica e significativa, categorizando-os ou marcando-os para que possam ser facilmente acessados, analisados e compreendidos.

Quando munidas de uma coleção abrangente de informações de custo e uso vinculadas ao valor comercial, as organizações podem capacitar os stakeholders e acelerar as metas de outros recursos de FinOps. Os stakeholders podem tomar decisões mais informadas, levando a um uso mais eficiente dos recursos e a uma economia de custos potencialmente significativa.

Antes de começar

Embora a ingestão e a normalização de dados sejam essenciais para a eficiência e a eficácia de longo prazo de qualquer prática de FinOps, elas não são um requisito de bloqueio para seu conjunto inicial de investimentos em FinOps. Se for sua primeira iteração no ciclo de vida de FinOps, considere recursos mais leves que possam proporcionar um retorno sobre o investimento mais rápido, como análise de dados e showback. A ingestão e a normalização de dados podem exigir tempo e esforço significativos, dependendo do tamanho e da complexidade da conta. Recomendamos que você foque nesse processo quando tiver o nível certo de compreensão do esforço e o compromisso dos principais stakeholders em apoiar esse esforço.

Introdução

Ao começar a gerenciar os custos na nuvem, usa as ferramentas nativas disponíveis no portal ou por meio do Power BI. Se precisar de mais, você pode fazer o download dos dados para análise local ou, possivelmente, criar um pequeno relatório ou mesclá-los com outro conjunto de dados. Eventualmente, você precisa automatizar esse processo, que é onde entra a "ingestão de dados". Como ponto de partida, nos focamos na ingestão de dados de custo em um armazenamento de dados comum.

  • Antes de ingerir dados de custo, pense em suas necessidades de relatório.
    • Converse com os stakeholders para garantir que você tenha um entendimento firme do que elas precisam. Tente entender suas motivações e objetivos para garantir que os dados ou relatórios os ajudem.
    • Identifique os dados necessários, de onde você pode obter os dados e quem pode lhe dar acesso. Anote os conjuntos de dados comuns que podem exigir normalização.
    • Determine o nível de granularidade necessário e a frequência com que os dados precisam ser atualizados. Os dados diários de custo podem ser um desafio ao gerenciar uma conta grande. Considere agregações mensais para reduzir custos e aumentar o desempenho e a confiabilidade da consulta, se isso atender às suas necessidades de relatório.
  • Considere o uso de uma plataforma de FinOps de terceiros.
    • Examine as soluções de terceiros disponíveis no Azure Marketplace.
    • Se você decidir criar sua própria solução, considere começar com hubs FinOps, parte do kit de ferramentas de código aberto FinOps fornecido pela Microsoft.
      • Os hubs FinOps acelerarão seu desenvolvimento e ajudarão você a se concentrar na criação dos recursos necessários em vez da infraestrutura.
  • Selecione a solução de detalhes de custo ideal para você. Recomendamos exportações agendadas, que enviam os dados de custo para uma conta de armazenamento diariamente ou mensalmente.
    • Se você usar exportações diárias, observe que os dados são enviados para um novo arquivo todos os dias. Selecione apenas o último dia ao relatar os custos.
  • Determine se você precisa de uma tecnologia de integração de dados ou de fluxo de trabalho para processar dados.
    • Em uma fase inicial, talvez seja possível manter os dados na conta de armazenamento exportada sem outro processamento. Recomendamos que você mantenha os dados lá para contas pequenas com requisitos leves e personalização mínima.
    • Se você precisar ingerir dados em um armazenamento de dados mais avançado ou executar a limpeza ou normalização de dados, talvez seja necessário implementar um pipeline de dados. Escolha uma tecnologia de orquestração de pipeline de dados.
  • Determine quais são seus requisitos de armazenamento de dados.
    • Em uma fase inicial, é recomendável o uso da conta de armazenamento exportada para simplificar e reduzir o custo.
    • Se você precisa de um mecanismo de consulta avançado ou espera atingir limitações de tamanho de dados em suas ferramentas de relatório, considere ingerir dados em um armazenamento de dados analíticos. Escolha um armazenamento de dados analíticos.

Basear-se nos conceitos básicos

Nesse ponto, você tem um pipeline de dados e está ingerindo dados em um repositório de dados central. Ao ir além do básico, considere os seguintes pontos:

  • Normalize os dados em um esquema padrão para dar suporte ao alinhamento e à combinação de dados de várias fontes.
    • Para dados de custo, recomendamos o uso do esquema FinOps Open Cost & Usage Specification (FOCUS).
    • Os hubs FinOps incluem um relatório do Power BI que normaliza os dados para o esquema FOCUS, o que pode ser um bom ponto de partida.
    • Para obter um exemplo do esquema FOCUS com dados do Azure, consulte o relatório de amostra FOCUS.
  • Complemente os dados de custo da nuvem com hierarquias e orçamentos organizacionais.
    • Considere os requisitos de rotulagem ou marcação para mapear os custos da nuvem para as hierarquias organizacionais.
  • Enriqueça os dados de soluções e recursos da nuvem com dados internos do CMDB ou ITAM.
  • Considere quais métricas internas de negócios e receita são necessárias para mapear os custos da nuvem para o valor comercial.
  • Determine quais outros conjuntos de dados são necessários com base em suas necessidades de relatórios:

Saiba mais na FinOps Foundation

Essa capacidade faz parte do FinOps Framework da FinOps Foundation, uma organização sem fins lucrativos dedicada ao avanço do gerenciamento e da otimização de custos da nuvem. Para obter mais informações sobre FinOps, incluindo manuais úteis, programas de treinamento e certificação, entre outros, confira o artigo Capacidade de ingestão e normalização de dados na documentação do FinOps Framework.

Próximas etapas