Estratégias de otimização de custos para clusters do HDInsight
A primeira etapa na otimização de custo do HDInsight é selecionar o tipo de cluster correto para a carga de trabalho que está sendo atendida. Escolher o tipo de cluster errado pode levar a tempos de processamento mais longos, consumindo mais computação do que o necessário. Isso resulta em custos que podem não ser apropriados para a atividade que está sendo executada e que podem ser excessivos para a operação.
Anteriormente, selecionar o tamanho correto do cluster também tinha a mesma importância para garantir que suas cargas de trabalho pudessem ser atendidas rapidamente em picos de demanda. No entanto, a seleção do tamanho do cluster era fixa. Ela não pode ser alterada sem parar o cluster e reprovisionar manualmente o novo tamanho. Essas etapas eram inconvenientes e atrasavam o processamento dos dados.
Recentemente, o HDInsight introduziu um recurso de dimensionamento automático que dimensiona a computação do cluster para atender às necessidades de processamento sob demanda. O recurso de dimensionamento automático permite escalar verticalmente o cluster do HDInsight durante a demanda de pico e reduzir verticalmente quando as operações estão relativamente tranquilas. Esse recurso garante que você possa minimizar seus gastos de acordo com a demanda que sua instalação do HDInsight está atendendo.
Você deve excluir clusters que não estão em uso. Você pode monitorar o cluster do HDInsight usando o Apache Ambari ou o Azure Monitor para identificar os clusters que não estão sendo utilizados.