Recomendações para coletar e revisar dados de custo

  • Artigo

Aplica-se a esta recomendação de lista de verificação da Otimização de Custos do Azure Well-Architected Framework:

CO:03 Coletar e examinar dados de custo. A coleta de dados deve capturar custos diários. Nos relatórios de custos, incluem custos incorridos (medidos), custos pré-pagos (amortizados), tendências e previsões. Os stakeholders devem revisar regularmente os gastos com relação ao modelo de orçamento e custo. Automatize alertas para disparar notificações em limites de chave e detectar anomalias para indicar desvios das linhas de base de tendência.

Este guia descreve as recomendações para coletar e revisar dados de custo para sua carga de trabalho. Colete dados de custo para pintar uma imagem holística da carga de trabalho e garantir que os gastos sejam otimizados. A coleta de dados inclui todos os indicadores de otimização de custo, como dados de cobrança, utilização de recursos e padrões de uso.

Os dados coletados permitem que você entenda o custo das decisões de arquitetura e dos drivers de negócios, como custos por usuário ou unidade. Esses dados dão uma compreensão mais clara de onde o dinheiro vai e como otimizar os gastos. A falha na coleta e revisão dos dados de custo pode levar a excessos de orçamento, sem linha de base para gastos e falta de compreensão da integridade financeira de suas cargas de trabalho de nuvem.

Definições

Termo Definição
Limite de cobrança O escopo do que uma conta inclui.
Cobrança Retroativa Um modelo de contabilidade no qual você cobra departamentos pelo uso da carga de trabalho e recebe pagamentos deles.
Utilização de recursos A quantidade de capacidade de recurso que uma carga de trabalho usa.
Showback Um modelo de contabilidade no qual você mostra aos departamentos o custo do uso da carga de trabalho e não recebe o pagamento deles.

Principais estratégias de design

A coleta de dados é essencial para identificar oportunidades de economia de custos, contabilidade (showback e chargeback) e para uso eficiente de recursos. Você deve priorizar a coleta e a revisão dos dados de custo de todas as fontes relevantes. Você deve centralizar os dados coletados para análise simplificada e revisão regular, atribuir proprietários de recursos e automatizar alertas sempre que possível.

Coletar dados de custo

O gerenciamento de custos efetivos de cargas de trabalho de nuvem requer uma compreensão abrangente das despesas associadas, da computação ao uso da rede. Os dados coletados fornecem uma exibição granular de onde e como os recursos estão sendo consumidos. Ele permite que você identifique ineficiências, tome decisões informadas sobre a alocação de recursos e, por fim, otimize os custos para garantir que você esteja obtendo o melhor valor para seu investimento.

Habilite a coleta de dados. A coleta de dados deve incluir todas as fontes de custo de carga de trabalho, como computação, armazenamento, uso de rede e quaisquer outros serviços ou recursos que a carga de trabalho usa. Os dados devem incluir dados faturados e medidos. Os dados faturados são reais. Reflete as despesas cobradas reais. Os dados medidos são uma forma preditiva de dados com base nos planos de cobrança dos serviços. Embora ainda sejam valiosas, fatias diárias de dados medidos são consideradas boas estimativas em vez de números precisos. Reconhecer as distinções entre dados faturados e medidos nesses componentes pode fornecer mais precisão no planejamento e na análise financeira.

Use todos os métodos de coleção disponíveis. Para coletar dados de custo, use todas as ferramentas e métodos disponíveis à sua disposição, como monitoramento de custos e utilitários do provedor de serviços para monitorar as despesas de carga de trabalho. Embora essas ferramentas normalmente ofereçam insights detalhados sobre detalhamentos de custos, tendências de uso e sugestões de otimização, elas podem não capturar tudo. Entenda seus recursos padrão, como dicionários de dados e taxonomias.

Crie exibições personalizadas se forem necessárias para sua carga de trabalho específica. Além das ferramentas nativas, se o provedor de serviços oferecer APIs, toque neles para recuperar dados de custo programaticamente. As APIs facilitam o relatório de custos automatizado e integram-se perfeitamente aos sistemas de gerenciamento existentes. Lembre-se de que o objetivo é coletar detalhes de custo de todas as fontes possíveis. Se isso significa extrair dados por meio de uma API, inserir manualmente custos ou sincronizar com seus sistemas financeiros, é vital garantir uma visão geral de custos centralizada e abrangente.

Centralizar dados de custo. Os dados de custo centralizados permitem facilitar o gerenciamento e a análise desses dados. Ele garante que você tenha uma exibição unificada, por meio de um esquema de dados comum, de todos os custos de carga de trabalho e permite melhores estratégias de otimização de custo. Você precisa combinar dados de uso e os dados devem fluir para um coletor analítico central. Você pode usar uma ferramenta de gerenciamento de custos fornecida pelo provedor de nuvem ou integrar os dados a soluções de gerenciamento de custos de terceiros. A meta é ter uma solução de baixo custo que seja facilmente acessível por stakeholders autorizados e forneça recursos robustos de análise de dados.

Compensação: a retenção de dados de custo por períodos mais longos permite a análise histórica e a identificação de tendências. No entanto, o armazenamento de dados pode ser caro. Para minimizar o custo, armazene dados mais antigos como pontos de dados agregados sem a granularidade de dados mais recentes. Além disso, determine o melhor período de retenção com base nas suas necessidades de análise.

Agrupar dados

O agrupamento de dados permite que você obtenha melhores insights para gerenciar os custos com eficiência. Você pode dividir os custos com base em diferentes dimensões, como departamentos ou projetos, permitindo que você aloque com precisão os custos para os respectivos stakeholders. O agrupamento de dados promove transparência, responsabilidade e reconhecimento de custos.

Agrupe dados de custo em categorias significativas, como recursos, serviços, ambientes, regiões, departamentos, projetos ou equipes. Por exemplo, entender a divisão de custos no nível do recurso e do serviço pode ajudá-lo a tomar decisões informadas sobre alocação de recursos, dimensionamento ou até mesmo descomissionamento. Quando você agrupa dados de custo por ambiente, como produção, recuperação de desastre ou garantia de qualidade, ele pode ajudá-lo a identificar discrepâncias de custo e otimizar o uso de recursos com base nas necessidades específicas de cada ambiente. Ao agrupar dados de carga de trabalho, considere as seguintes recomendações:

  • Coletar dados de uso e componente. Colete informações detalhadas sobre o uso e o custo de cada componente em sua carga de trabalho. Você pode analisar os custos de diferentes ângulos e obter insights sobre a divisão de custos capturando esses dados.

  • Confira dimensões diferentes. Divida suas despesas diárias por dimensões técnicas (por exemplo, tipos de recursos ou categorias de serviço), dimensões da organização de recursos (por exemplo, departamentos ou equipes) e dimensões de modelo de negócios (por exemplo, projetos ou centros de custo). Esse detalhamento permite que você analise os custos com base nas dimensões que mais importam para seu problema ou cenário específico.

  • Aplicar metadados. Os metadados podem ser usados para agrupar dados e ajudar a gerar relatórios de custo significativos. Ele permite identificar áreas de alto custo e implementar medidas de responsabilidade ou estratégias de otimização de custos no nível do departamento ou do projeto. Usando metadados, você pode criar um mecanismo para agrupar custos de uma forma que reflita o modelo de negócios principal do aplicativo. Por exemplo, marcar recursos com identificadores de locatário em vez de recursos compartilhados em uma solução multilocatário. A capacidade de dinamizar dados de custo com base no modelo de preços do aplicativo pode fornecer insights importantes.

Gerar relatórios de custo

Depois de coletar dados de custo, você precisa usá-los para gerar relatórios de custo. Os relatórios de custo fornecem visibilidade dos gastos e facilitam a análise dos padrões de gastos da carga de trabalho. Você pode identificar áreas em que a otimização de custo é necessária e tomar decisões informadas para otimizar seus gastos. Os relatórios de custo permitem alocar custos para diferentes equipes, departamentos ou projetos. Essa alocação ajuda a entender a distribuição e facilita o retorno de cobrança ou o showback preciso.

Resolva cenários comuns. Ao gerar relatórios de custo para custos de carga de trabalho, você deseja ser capaz de resolver preocupações comuns de custo. Coletar dados em áreas de preocupação comuns ajuda a garantir que os conjuntos de dados necessários, como custos, métricas e uso, sejam interpretados de forma cooperativa. As áreas de preocupação comuns incluem:

  • Custos granulares: os relatórios de custo devem fornecer informações sobre o valor alocado por usuário e o custo por dispositivo.

  • Utilização de recursos: os relatórios de custo devem ajudar a avaliar se os recursos atuais são totalmente utilizados e identificar possíveis economias.

  • Soluções alternativas: os relatórios de custo devem comparar os custos e as economias potenciais de transição para uma nova solução. Eles também devem avaliar a viabilidade de alternar para uma solução dinâmica.

  • Retorno sobre o investimento: os relatórios de custo devem ajudar a determinar qual percentual de receita entra na operação do sistema. Se o sistema não aumentar a receita, outras métricas de ROI deverão ser medidas.

  • Padrões de gastos: os relatórios de custo devem analisar padrões de gastos para identificar tendências e padrões nos custos ao longo do tempo. Os padrões de gastos ajudam a tomar decisões informadas sobre otimização de custos e planejamento orçamentário.

Alinhar-se aos padrões de contabilidade. Os relatórios de custo devem acomodar seus padrões de contabilidade internos. Sistemas comuns são showback e estorno. O showback é sobre visibilidade, e o estorno é sobre responsabilidade.

  • O showback refere-se a fornecer visibilidade de custos em toda a organização sem cobrar equipes ou departamentos individuais pelos custos de nuvem. Você pode usar relatórios de custo para gerar instruções de showback que mostram os custos incorridos por cada equipe ou departamento. Por exemplo, a equipe de marketing utilizou US$ 15.000, enquanto o departamento de engenharia incorreu em custos de US$ 25.000 para uma despesa de carga de trabalho combinada de US$ 40.000. O showback fornece a cada departamento uma divisão dos custos, permitindo que cada equipe examine e otimize o consumo de recursos. Esses relatórios fornecem transparência e permitem que os stakeholders entendam o uso e os custos associados.

  • O estorno envolve a cobrança de equipes internas ou departamentos para seus respectivos custos de nuvem com base em seu uso real. O estorno é de face dupla. Você pode cobrar de outras pessoas e outras pessoas podem cobrar com base no consumo de recursos e nos serviços renderizados. Por exemplo, sua carga de trabalho usa serviços de segurança centralizados. Por um mês, a equipe de segurança faturou US$ 10.000 pelos serviços. Mas você cobrou dos departamentos de vendas e marketing US$ 7.000 e US$ 8.000, respectivamente, pelo uso de sua carga de trabalho. Todas as transações de estorno, créditos e débitos, são integradas ao coletor de dados de custo centralizado. O estorno garante que todas as despesas sejam contabilizados e incorporados à gestão financeira da sua organização. Ele fornece uma visão holística e promove a otimização de custos interdepartementais.

Forneça relatórios abrangentes. Os relatórios de custo devem incluir o custo de serviços de nuvem e fornecedores. O relatório deve incluir custos incorridos (faturados), custos pré-pagos (amortizados), tendências, previsões, créditos e variação de custo. Em sistemas de showback e estorno, os relatórios de custo devem incluir os seguintes elementos:

  • Custos incorridos: os custos incorridos referem-se aos custos reais acumulados com base no uso medido. Esses custos são calculados com base no consumo de recursos ou serviços dentro de um período de cobrança específico.

  • Custos pré-pagos: os custos pré-pagos são despesas pagas antecipadamente e são distribuídos por um período específico. Normalmente, esses custos são amortizados ou alocados uniformemente durante o período pré-pago.

  • Tendências: analisar tendências de custo envolve examinar os dados históricos para identificar padrões e alterações nos gastos ao longo do tempo. Essa análise ajuda você a entender como os custos flutuam e identificar quaisquer fatores subjacentes.

  • Previsões: as previsões de custo prevêem gastos futuros com base em dados históricos e tendências, permitindo estimar custos futuros e planejar adequadamente. As previsões podem ser geradas usando várias técnicas, como algoritmos de aprendizado de máquina.

  • Créditos: os provedores de serviços geralmente fornecem créditos (utilização gratuita) em serviços. Os relatórios de custos devem incluir saldos de crédito e uso para entender corretamente as necessidades de gastos.

  • Variação de custo: a variação de custo em um relatório de custos refere-se à diferença entre os custos reais incorridos e os custos esperados ou orçados. Ele ajuda a identificar desvios dos custos planejados e entender os motivos por trás deles.

Atribuir proprietários de recursos

Cada item de custo deve ter um DRI (indivíduo diretamente responsável) como o proprietário do recurso. Atribuir um proprietário de recurso a cada item de custo garante uma clara responsabilidade pelos custos associados. Ele ajuda a identificar quem é responsável por gerenciar e otimizar o uso e o custo de recursos ou serviços específicos. Os proprietários de recursos são importantes para:

  • Alocação de custo: ter um proprietário de recurso atribuído a cada item de custo permite uma alocação de custo precisa. Os proprietários de recursos garantem a atribuição de custo às equipes, departamentos ou projetos apropriados, facilitando a transparência financeira e o gerenciamento de orçamento.

  • Comunicação: a atribuição de proprietários de recursos promove a comunicação e a colaboração eficazes em uma equipe de carga de trabalho e organização. Ele facilita discussões sobre gerenciamento de custos, incentiva o compartilhamento de práticas recomendadas e permite que os proprietários de recursos trabalhem juntos para otimizar os custos coletivamente.

  • Tomada de decisão: os proprietários de recursos desempenham um papel crucial na tomada de decisões relacionada ao provisionamento, ao dimensionamento e à otimização de recursos. Eles têm os insights e a propriedade necessários para tomar decisões informadas que se alinham aos objetivos de negócios e às metas de otimização de custos. Os proprietários de recursos podem monitorar e analisar ativamente os custos associados aos seus recursos. Eles podem identificar oportunidades de economia de custos, otimizar o uso de recursos e tomar decisões para controlar e reduzir custos.

Examinar dados de custo

Revise regularmente os gastos com relação ao orçamento e ao modelo de custo com os stakeholders. As revisões regulares ajudam a identificar tendências de custo, exceções e áreas para otimização. É importante envolver stakeholders como equipes de finanças, equipes de operações e tomadores de decisão nessas revisões para impulsionar iniciativas de otimização de custos. As revisões garantem que os custos estejam alinhados com as expectativas e permitam ajustes, se necessário. Monitore as alterações nos padrões de uso, ajuste as alocações de recursos conforme necessário e implemente medidas de economia de custos com base na análise contínua dos dados de custo.

Analisar dados de custo

Examine os dados de custo coletados de sua carga de trabalho para obter informações sobre seus padrões de gastos. As revisões podem incluir a análise da utilização de recursos, a identificação de drivers de custo e a compreensão da distribuição de custos entre diferentes componentes da carga de trabalho. Você também deve observar aumentos e reduções nos custos, por exemplo, no uso de computação e nos custos de transferência de rede. Procure áreas em que você possa otimizar os custos sem sacrificar o desempenho ou a funcionalidade. Por exemplo, identifique recursos subutilizados, instâncias de rightsizing ou recursos de economia de custos fornecidos pelo provedor de nuvem.

Examinar as opções de arquitetura

Ao examinar as decisões arquitetônicas de sua carga de trabalho, é essencial se concentrar em implicações de custo. Utilizar padrões alternativos ou ofertas nativas de nuvem pode levar a uma economia de custos significativa. Optar por PaaS (plataforma como serviço) ou SaaS (software como serviço) em vez de IaaS (infraestrutura como serviço) pode ser mais econômico. Com o PaaS, não apenas as despesas de infraestrutura fazem parte dos preços do serviço, mas a plataforma também simplifica o provisionamento e o gerenciamento desses recursos sob um custo unificado. Por exemplo, implantar uma máquina virtual de camada inferior como uma jump box pode introduzir custos extras para armazenamento, gerenciamento de servidor e configuração de IP público. Por outro lado, o PaaS lida com essas complexidades, oferecendo um custo consolidado que geralmente abrange segurança aprimorada.

Automatizar alertas de custo

A implementação de alertas automatizados pode disparar notificações de orçamento nos principais limites. Esses alertas podem ser configurados para notificar os stakeholders e as DRIs quando os custos excedem os limites predefinidos ou quando há desvios significativos dos padrões de gastos esperados. Alertas de orçamento e alertas de previsão são dois tipos diferentes de alertas de custo usados para automatizar alertas de custo.

Use alertas de orçamento. Os alertas de orçamento permitem definir um valor de orçamento e definir limites para os custos reais. Quando os custos reais excedem os limites especificados, os alertas de orçamento são disparados. Esses alertas ajudam você a monitorar seus gastos e notificá-lo quando estiver se aproximando ou excedendo seu orçamento. Os alertas de orçamento são baseados nos custos reais acumulados. Os gastos com carga de trabalho tendem a variar. Você deve, no mínimo, definir alertas para o orçamento-alvo nos custos previstos (100%, gastos ideais (90%) e menos do que o gasto ideal (110%).

Use alertas de previsão. Os alertas de previsão fornecem notificação avançada quando suas tendências de gastos provavelmente excederão seu orçamento. Esses alertas são gerados com base nas previsões de custo previstas. Quando o custo previsto excede o limite definido, os alertas de previsão são disparados. Os alertas de previsão ajudam você a prever possíveis estouros de custos para que você possa tomar medidas proativas para controlar seus gastos. Você deve definir o alerta de previsão em 110% do orçamento de destino.

Use a detecção de anomalias. A detecção de anomalias ajuda a identificar padrões inesperados ou anormais nos dados de custo, permitindo que você detecte e resolva anomalias de custo imediatamente. Utilize técnicas de detecção de anomalias para identificar desvios de linhas de base de tendência, como picos inesperados ou quedas nos custos, e tome as medidas apropriadas. Você deve ajustar a detecção de anomalias para capturar flutuações que suas proteções de gastos não podem ou intermitentemente não impedem.

Com base na análise de anomalias de custo, determine as ações necessárias para resolver a situação. Os planos de ação podem envolver otimizar a utilização de recursos, redimensionar máquinas virtuais, implementar controles de Azure Policy ou ajustar orçamentos. É importante alinhar as medidas de controle de custo com os valores de negócios e obter as aprovações necessárias para ajustes orçamentários.

Implemente processos automatizados para identificar e resolver variações de custo em tempo real. As opções incluem dimensionar recursos automaticamente, automatizar desligamentos ou estabelecer fluxos de trabalho para investigação e mitigação de anomalias de custo. Estabeleça KPIs (indicadores-chave de desempenho) para medir a precisão das previsões de custo, custo versus orçamento, o número de anomalias inesperadas e o tempo para reagir aos alertas de previsão. Revise regularmente as previsões, acompanhe a variância e garanta o alinhamento com as expectativas do orçamento.

Risco: automatizar a coleta e a revisão de dados de custo pode economizar tempo e esforço. No entanto, depender exclusivamente da automação pode ignorar determinadas oportunidades de otimização de custos que exigem análise e revisão manual. Encontrar o equilíbrio certo entre automação e revisão manual é crucial.

Facilitação do Azure

Coletando e agrupando dados de custo: o Azure fornece serviços como Análise de custo e Assistente do Azure que ajudam a acompanhar e analisar seus gastos e uso do Azure. Esses serviços capturam os dados necessários para calcular os custos com precisão. Use marcas do Azure para agrupar custos para se alinhar com diferentes unidades de negócios, ambientes de engenharia e departamentos de custo. As marcas fornecem a visibilidade necessária para que as empresas gerenciem e aloquem custos em diferentes grupos.

Gerando relatórios de custo: a análise de custo oferece relatórios personalizáveis que fornecem insights sobre seus custos incorridos, custos pré-pagos, tendências e previsões. Esses relatórios podem ser adaptados aos seus requisitos específicos e fornecer uma visão abrangente dos custos.

Revisão de dados de custo: o Microsoft Power BI pode ajudar na coleta e revisão de dados de custo. O Power BI fornece uma solução abrangente para coletar, revisar e analisar dados de custo. Ele permite que você obtenha insights, acompanhe tendências e otimize os custos com eficiência. Ele se integra ao Gerenciamento de Custos e permite que você importe dados de custo para o Power BI.

Para conjuntos de dados de custo menores, você pode usar a API de Detalhes de Uso para obter a recuperação programática de dados de custo brutos e não agregados que correspondem à sua fatura do Azure.

Revisão das opções de design de arquitetura: o Azure fornece uma ampla gama de recursos de PaaS. Aqui estão alguns exemplos de quando você deve considerar as opções de PaaS:

Tarefa Use
Hospedar um servidor Web Serviço de Aplicativo do Azure em vez de configurar servidores IIS.
Indexação e consulta de dados heterogêneos Azure Cognitive Search em vez de ElasticSearch.
Hospedar um servidor de banco de dados O Azure oferece muitas opções SQL e NoSQL, como o Banco de Dados SQL do Azure e o Azure Cosmos DB.
Proteger o acesso à máquina virtual Azure Bastion em vez de máquinas virtuais como Jumpboxes.
Segurança de rede Firewall do Azure em vez de dispositivos de rede virtual.

Automatizando alertas: o Gerenciamento de Custos permite que você configure alertas e ações automatizados com base em limites de gastos ou orçamentos. Esses alertas podem disparar notificações aos stakeholders quando os custos excedem os limites predefinidos ou se desviam dos padrões esperados. Você deve usar a análise de custo para exibir e responder a anomalias de custo. Esse recurso pode realçar picos inesperados ou quedas nos custos, permitindo investigação e ação oportunas.

Lista de verificação de Otimização de Custos

Consulte o conjunto completo de recomendações.

Lista de verificação de Otimização de Custos