Selecione um SKU para o cluster do Azure Data Explorer

  • Artigo

Quando você cria um novo cluster, ou otimiza-o para uma carga de trabalho em alteração, o Azure Data Explorer oferece várias opções de SKUs de VM (máquina virtual). Essas SKUs de computação foram cuidadosamente escolhidas para fornecer o custo mais adequado para qualquer carga de trabalho.

O tamanho e o SKU da VM do cluster de gerenciamento de dados são totalmente gerenciados pelo serviço do Azure Data Explorer. Eles são determinados por fatores como o tamanho da VM do mecanismo e a carga de trabalho de ingestão.

Você pode alterar o SKU de computação para o cluster a qualquer momento escalando verticalmente o cluster. É melhor começar com o menor tamanho de SKU que se ajusta ao cenário inicial. Você também pode usar as recomendações do Assistente do Azure para otimizar seu SKU de computação.

Você pode usar a Calculadora de preços para estimar o preço do cluster do Azure Data Explorer com base nas suas cargas de trabalho e no volume de dados.

Dica

Ao comprar uma reserva, você pode pagar previamente pelo cluster, pelas máquinas virtuais usadas no cluster e pelos custos dos recursos de armazenamento por um período de um ou três anos. Essas RIs (instâncias reservadas) são compradas separadamente e podem economizar uma quantidade significativa de dinheiro garantindo as melhores taxas para o cluster do Azure Data Explorer. Para obter mais informações, confira Pagar antecipadamente por unidades de markup do Azure Data Explorer com capacidade reservada.

Selecionar um tipo de cluster

O Azure Data Explorer oferece dois tipos de clusters:

  • Produção (com SLA): os clusters de produção contêm pelo menos dois nós para o cluster do mecanismo e pelo menos dois nós para o cluster de gerenciamento de dados. Esses clusters operam no SLA do Data Explorer do Azure.
  • Desenvolvimento/Teste (sem SLA): os clusters de desenvolvimento/teste contêm um único nó para o cluster do mecanismo e um único nó para o cluster de gerenciamento de dados. Esses clusters são a configuração de menor custo devido à sua baixa contagem de instâncias. Não há redundância nem SLA nessa configuração de cluster.

Desenvolvimento versus produção

Os clusters de desenvolvimento são ótimos para avaliação de serviço, configuração de um pipeline de ingestão, realização de uma PoC (prova de conceito) ou validação de cenário. As principais diferenças entre clusters de desenvolvimento e clusters de produção incluem:

  • Os clusters de desenvolvimento têm tamanho limitado e não podem ter mais de um nó
  • O markup do Azure Data Explorer não é cobrado em clusters de desenvolvimento
  • Nenhum SLA para clusters de desenvolvimento

Tipos de SKU de computação

O cluster do Azure Data Explorer dá suporte a uma variedade de SKUs para diferentes tipos de cargas de trabalho. Cada SKU oferece uma taxa de armazenamento SSD e de CPU distinta para ajudar os clientes a dimensionar corretamente sua implantação e criar soluções ideais de custo para sua carga de trabalho analítica corporativa.

Computação otimizada

  • Fornece uma alta taxa de núcleo para cache e o menor custo por núcleo.
  • SSD local para E/S de baixa latência.

Armazenamento otimizado

  • Fornece armazenamento maior, variando de 1 TB (terabyte) a 4 TB por nó de mecanismo e o menor custo por GB (gigabyte).
  • Adequado para cargas de trabalho que exigem armazenamento para grandes volumes de dados.
  • Determinados SKUs usam o PS (armazenamento premium) anexado ao nó do mecanismo em vez de SSDs locais. O acesso ao PS é mais lento do que os SSDs locais, portanto, os SKUs com PS são mais caros e têm um desempenho menor do que os SKUs com SSD local anexado.

Selecionar e otimizar sua SKU de computação

Selecionar sua SKU de computação durante a criação do cluster

Ao criar um cluster do Azure Data Explorer, selecione a SKU de VM ideal para a carga de trabalho planejada. Use os seguintes atributos para ajudar você a escolher o SKU correto para seu ambiente:

Atributo Detalhes
Custo por GB Alto custo com computação otimizada. Baixo custo com SKUs otimizadas para armazenamento.
Custo por núcleo Custo baixo com computação otimizada. Custo alto com SKUs otimizados para armazenamento.
Preço de RI O desconto de RI varia de acordo com a região e o SKU.

Observação

O custo de computação é a parte mais significativa do custo de um cluster.

Otimizar a SKU de computação do cluster

Para otimizar a SKU de computação do cluster, Configure o dimensionamento vertical e verifique as recomendações do Assistente do Azure.

Com várias opções de SKU de computação para escolher, você pode otimizar os custos para o desempenho e os requisitos do cache quente para seu cenário. Escolha um SKU com computação otimizada para obter um desempenho ideal quando houver volumes de consulta altos. Escolha um SKU otimizado para armazenamento para obter o melhor desempenho ao consultar grandes volumes de dados que precisam ser armazenados em cache.

É preferível usar alguns nós de VMs maiores que usam mais RAM do que muitas VMs menores. É necessária mais RAM para alguns tipos de consulta que colocam mais demanda na RAM, como consultas que usam junções. Portanto, ao escalonar o cluster, recomendamos escalar verticalmente para um SKU maior e escalar horizontalmente adicionando mais nós conforme necessário.

Observação

Alterar ou escalar verticalmente a SKU do cluster pode causar uma interrupção de serviço de um a três minutos. O desempenho da consulta pode ser afetado durante a migração de SKU e a extensão do impacto pode variar dependendo dos padrões de uso.

Disponibilidade de SKU

A disponibilidade de SKU é diferente com base nos seguintes fatores:

  • Região: nem todos os SKUs estão disponíveis em todas as regiões ou zonas de disponibilidade. Para obter mais informações, confira todas as páginas de SKU para obter disponibilidade regional.
  • Assinatura: alguns SKUs só podem estar disponíveis para tipos de assinatura específicos. Se um SKU não estiver disponível para sua assinatura em um local ou zona que atenda às suas necessidades empresariais, envie uma solicitação de SKU ao suporte do Azure.

Opções de SKU

As séries de SKU a seguir estão disponíveis para VMs de cluster do Azure Data Explorer. As famílias de SKU dentro das categorias otimizado para armazenamento e computação otimizada são classificadas em ordem de recomendação.

Otimizado para armazenamento

Série de SKU Configuração de vCPU disponível Tipo de SKU Dá suporte ao armazenamento premium
Lasv3 8, 16 , 32 AMD Não
Lsv3 8, 16 , 32 Intel Não
Easv4, Easv5, ECasv5 8, 16 AMD Sim
Esv4, Esv5 8, 16 Intel Sim
DSv2 8, 16 Intel Sim

Computação otimizada

Série de SKU Configuração de vCPU disponível Tipo de SKU Dá suporte ao armazenamento premium
Eadsv5, ECadsv5 2, 4, 8, 16 AMD Não
Edv4, Edv5 2, 4, 8, 16 Intel Não
Eav4 2, 4, 8, 16 AMD Não
Dv2 2, 4, 8, 16 Intel Não

Observação

Todos os SKUs com computação otimizada com dois núcleos podem ser configurados como clusters de desenvolvimento.

É recomendável usar L32asv3 /L32sv3 somente em casos de uso com clusters L16asv3/L16sv3 muito grandes atingindo o limite de 1000 nós de cluster ou clusters com taxas de solicitação simultâneas extremamente altas. ECasv5 e ECadsv5 são SKUs de computação confidencial. Para obter mais detalhes, leia sobre VMs de Computação Confidencial. Para SKUs ECasv5 otimizadas para armazenamento, caso você use sua própria CMK (chave gerenciada pelo cliente ), a criptografia cmk é executada em contas de armazenamento e discos de armazenamento premium.

  • Com o isolamento de armazenamento e computação do Azure Data Explorer, você pode começar com o SKU com melhor custo e migrar para outro SKU depois de amadurecer o padrão de uso ou a perda de dados.
  • Você pode exibir a lista atualizada de SKU de computação por região usando a API ListSkus do Azure Data Explorer.

Tamanho do cache

O Azure Data Explorer reserva uma parte do tamanho do disco mostrado em cada uma das especificações de SKU de computação do Azure a serem usadas para operações de cluster. O tamanho exato do cache para cada SKU está disponível na seção de seleção de SKU no portal.

Conteúdo relacionado