Planilha de planejamento da capacidade do servidor de carregamento para o Analytics Platform System
Esta planilha de planejamento da capacidade ajuda a determinar os requisitos de um servidor de carregamento para carregar dados no Analytics Platform System Parallel Data Warehouse. Use-a para criar seu plano de compra ou provisionamento de servidores de carregamento existentes.
Anotações da planilha
Esta planilha se aplica a servidores que carregarão dados com a ferramenta de carregamento da linha de comando dwloader .
Para carregar dados com o Integration Services ou uma ferramenta de carregamento de terceiros, os requisitos podem variar, dependendo das diferenças no processo de carregamento.
A maioria dos requisitos se aplica ao carregamento de arquivos de dados compactados ou não compactados. Quaisquer diferenças nos requisitos são anotadas em negrito.
Planilha de planejamento da capacidade
Imprima esta planilha e preencha-a com seus próprios requisitos.
| Componente | Requisito | Preencha esta coluna com seus próprios requisitos | Recomendações |
|---|---|---|---|
| Armazenamento | Máximo de bytes que você planeja armazenar no servidor de carregamento em qualquer período determinado. |  |
Para determinar os requisitos de armazenamento, descubra a quantidade de dados que você planeja armazenar no servidor de carregamento em um determinado período. Os requisitos de capacidade são apenas para arquivos de carregamento. O sistema operacional e os arquivos de carregamento devem estar em matrizes de disco diferentes. Por exemplo: se você planeja carregar 100 GB de dados do disco 3 vezes por dia, mas não excluir os arquivos de dados até o final da semana, precisará de um mínimo de 2,1 TB para armazenar os arquivos de dados. Recomendamos ser conservador e obter cerca de 30% mais armazenamento para dar conta das variações e do crescimento. Para este exemplo, 2,73 TB de espaço de armazenamento seria melhor. |
| Taxa de carregamento | Máximo de bytes por hora de dados a serem carregados no PDW. | |
Esta é uma estimativa. Ao calcular esse requisito, suponha que os arquivos já estejam no servidor de carregamento e que outras condições de carregamento sejam as melhores possíveis. Por exemplo: Não há necessidade de levar em consideração a capacidade de compactação dos dados, pois o dwloader sempre envia dados não compactados para o PDW. Não há necessidade de considerar as conversões de tipo de dados e o tamanho da tabela de destino. |
| Rede | Tipo de conexão de rede. | |
Determine o melhor tipo de conexão de rede para seus requisitos de taxa de carregamento. Por exemplo: o InfiniBand ou o Ethernet de 10Gbit fornecerá as taxas de carregamento ideais. 1 Gbit Ethernet limitará as taxas de carregamento a 360 GB por hora ou menos. |
| E/S | Bytes por hora para leituras e gravações. | |
Para carregar dados, o dwloader deve ler todos os dados do disco antes de enviá-los ao PDW. Cada servidor de carregamento não pode carregar dados mais rápido do que o dispositivo pode receber dados de todas as fontes de carregamento. Para economizar dinheiro, planeje a capacidade de leitura de E/S para carregamento, de modo que ela não exceda a capacidade de carregamento do dispositivo. Por exemplo: O PDW recebe e carrega dados em um dispositivo de 1 rack a uma taxa máxima de 1,8 TB por hora. Para um dispositivo com 2 ou mais racks, a taxa de carga máxima é de 3,6 TB por hora. Se você planeja carregar de vários servidores de carregamento ao mesmo tempo, os requisitos de E/S para cada servidor de carregamento serão menores do que quando um único servidor estiver fazendo todo o carregamento. Por exemplo: um servidor de carregamento pode carregar no máximo 1,8 TB por hora para um dispositivo de 1 rack. Dois servidores de carregamento poderiam carregar, cada um, simultaneamente, 900 GB por hora em um dispositivo de 1 rack. Níveis mais altos de simultaneidade podem reduzir a eficiência e a produtividade máxima. Para a capacidade de E/S, leve em consideração toda a E/S que ocorre no servidor de carregamento. Se o servidor de carregamento tiver outro tráfego de E/S além das cargas de dados, como o recebimento de arquivos de dados de um servidor ETL, os requisitos de E/S aumentarão. Para dados compactados, os requisitos de E/S dependem da taxa de compactação de dados. O dwloader lê os dados compactados e os descompacta, antes de enviá-los ao PDW. Quanto maior a taxa de compactação, menos dados o servidor de carregamento precisará ler do disco. Por exemplo: se a taxa de carga necessária for de 1,8 TB por hora e os dados forem armazenados no servidor de carregamento com compactação 2:1, o servidor de carregamento precisará ler somente 900 GB por hora do disco em vez de 1,8 TB. Uma taxa de compactação de 3:1 significa que o servidor de carregamento precisa ler 600 GB por hora do disco. |
| CPU | Número de soquetes. | |
Para carregar dados não compactados, o dwloader não é um aplicativo com uso intensivo de CPU. Como requisito mínimo, recomendamos o uso de um servidor de 2 soquetes fabricado recentemente. Para carregar dados compactados, você precisa de energia suficiente da CPU para descompactar os dados antes de enviá-los para o PDW. O dwdloader pode executar 10 threads ativos de uma só vez. Se você planeja carregar 10 arquivos compactados simultaneamente, recomendamos que o servidor tenha pelo menos uma CPU de 10 núcleos ou duas CPUs de 6 núcleos. |
| RAM | GB de memória que permite ao Windows armazenar arquivos em cache durante as cargas. | |
O dwloader usa muito pouca RAM no servidor de carregamento. Para desempenho, o Windows usa memória para armazenar em cache os arquivos de carregamento depois de lê-los no disco. Para determinar os requisitos de RAM, consulte a instalação do Windows Server e quaisquer requisitos de aplicativos de terceiros. Recomendamos um mínimo de 32 GB, se você não tiver requisitos de outras fontes. Para dados compactados, a RAM mais rápida é útil porque acelerará a descompactação. |
Confira também
Adquirir e configurar um servidor de carregamentoCarregador da linha de comando dwloader