Compartilhar via

Capacidade de processamento e armazenamento no Analytics Platform System

  • Artigo

Seus requisitos de negócios determinam o número de Unidades de Escala de Dados e o tamanho dos discos de nó de computação necessários no dispositivo APS (Analytics Platform System). Use esses cálculos de processamento e armazenamento para orientar suas decisões de aquisição e planejamento de capacidade.

Planejamento da capacidade de processamento

O desempenho de consulta do SQL Server Parallel Data Warehouse (PDW) depende muito do número de núcleos de CPU trabalhando em seus dados em paralelo. Dentro dos limites, o aumento do paralelismo melhora o desempenho da consulta MPP (processamento paralelo em massa). Mesmo que o tamanho dos dados seja relativamente pequeno, a capacidade do mecanismo de consulta MPP é aprimorado por ter maior paralelismo.

Por exemplo, um dispositivo com 12 nós de computação tem 192 núcleos de CPU que processam seus dados em paralelo. Isso é paralelismo de 192 vias! Um dispositivo com 56 nós de computação tem 896 núcleos, todos trabalhando em paralelo. Essa magnitude de paralelismo não é alcançável sem a computação MPP.

À medida que o número de nós de computação aumenta, a expansão do dispositivo requer a adição de mais de um nó de computação por vez para obter um benefício notável. Os fornecedores de hardware oferecem suporte apenas a configurações específicas de Unidades de Escala de Dados para garantir que o benefício de dimensionar o dispositivo supere o custo de redistribuir os dados em mais nós de computação.

Exemplos de configuração da unidade de escala de dados - HPE

Estes são exemplos das configurações HPE compatíveis com Unidades de Escala de Dados. Eles podem ser diferentes das configurações compatíveis mais atuais, mas são fornecidos como um exemplo de como aumentar a capacidade cerca de 20%.

Elevação é o percentual de ganho de capacidade aumentando as Unidades de Escala de Dados de uma linha para outra. Por exemplo, aumentar as unidades de escala de dados de 6 para 8 dá um aumento de 33% nos núcleos de CPU e memória. Ele também aumenta o espaço em disco que não é mostrado nesta tabela.

Unidades de escala de dados Nós de computação Núcleos de CPU Memória (GB) Elevação
1 2 32 512 -
2 4 64 1024 100%
3 6 96 1536 50%
4 8 128 2.048 33%
5 10 160 2560 25%
6 12 192 3072 20%
8 16 256 4096 33%
10 20 320 5120 25%
12 24 384 6144 20%
16 32 512 8192 33%
20 40 640 10240 25%
24 48 768 12288 20%
28 56 896 14336 17%

Explicação:

  • Unidades da escala de dados por dispositivo. Para saber mais sobre as unidades de escala de dados, consulte Componentes de hardware do sistema da plataforma do Google Analytics.

  • Nós de computação por dispositivo.

  • Núcleos de CPU por dispositivo. Há 16 núcleos por nó de computação, um núcleo por cada par de discos espelhados. Para a estrutura de disco do nó de computação, consulte Componentes de hardware do Analytics Platform System.

  • Memória por aparelho. Cada núcleo tem 256 GB de memória.

Exemplos de configuração da unidade de escala de dados - Dell, Quanta

Estes são exemplos das configurações Dell e Quanta compatíveis com Unidades de Escala de Dados. Eles podem ser diferentes das configurações compatíveis mais atuais, mas são fornecidos como um exemplo de como aumentar a capacidade cerca de 20%.

Elevação é o percentual de ganho de capacidade aumentando as Unidades de Escala de Dados de uma linha para outra. Por exemplo, aumentar as unidades de escala de dados de 6 para 8 dá um aumento de 33% nos núcleos de CPU e memória. Ele também aumenta o espaço em disco que não é mostrado nesta tabela.

Unidades de escala de dados Nós de computação Núcleos de CPU Memória (GB) Elevação
1 3 48 768 -
2 6 96 1536 100%
3 9 144 2.304 50%
4 12 192 3.072 33%
5 15 240 3,840 25%
6 18 288 4\.608 20%
7 21 336 5.376 17%
8 24 384 6.144 14%
9 27 432 6.912 13%
12 36 576 9\.216 33%
15 45 720 11,520 25%
18 54 864 13.824 20%

Planejamento de capacidade de armazenamento

Esta tabela estima que você pode carregar e armazenar até 6 petabytes de dados descompactados em um dispositivo do Analytics Platform System totalmente integrado.

Fornecedor Tamanho da unidade Armazenamento de dados físicos por nó de computação Máximo de nós de computação por rack Armazenamento máximo de dados físicos por rack Armazenamento máximo estimado de dados do usuário por rack Racks máximos Armazenamento máximo estimado de dados do usuário por dispositivo
HPE 1 TB 16 TB 8 128 TB 320 TB 7 2.240 TB
HPE 2 TB 32 TB 8 256 TB 640 TB 7 4.480 TB
HPE 4 TB 64 TB 8 512 TB 1280 TB 7 8.960 TB
Dell 1 TB 16 TB 9 144 TB 360 TB 6 2.160 TB
Dell 2 TB 32 TB 9 288 TB 720 TB 6 4.320 TB
Dell 4 TB 64 TB 9 576 TB 1440 TB 6 8.640 TB

Explicação:

  • O tamanho da unidade é de 1, 2 ou 4 TB para cada fornecedor de hardware.

  • Armazenamento de dados físicos por nó de computação = (tamanho da unidade) * (16 discos por nó de computação). Os discos espelhados não são incluídos, pois são para redundância.

  • Máximo de nós de computação por rack é específico para o fornecedor de hardware.

  • Armazenamento máximo de dados físicos por rack = (Armazenamento de dados físicos por nó de computação) * (Máximo de nós de computação por rack).

  • Armazenamento máximo estimado de dados do usuário por rack = (Armazenamento máximo de dados físicos por rack) * (5 para uma taxa de compactação de 5:1) * (50% para logs e tempDB). Esta é uma estimativa conservadora para os dados do usuário descompactados que podem ser carregados e armazenados no dispositivo. Esta é uma estimativa e não é imposta pelo software. O armazenamento real de dados do usuário dependerá de seus dados e de sua configuração.

  • O máximo de racks é específico para cada fornecedor de hardware.

  • Armazenamento máximo estimado de dados por dispositivo = (Armazenamento máximo estimado de dados por rack) * (Máximo de racks). Esta é uma estimativa conservadora do tamanho total geral dos dados do usuário que você pode carregar e armazenar em um dispositivo totalmente integrado.