Quais são as configurações de nós predefinidas e recomendadas para o Azure HDInsight?
Este artigo aborda as configurações de nós predefinidas e recomendadas para clusters do Azure HDInsight.
Configuração de nó predefinida e mínima recomendada e tamanhos de máquinas virtuais para clusters
As tabelas seguintes listam os tamanhos predefinidos e recomendados da máquina virtual (VM) para clusters do HDInsight. Estas informações são necessárias para compreender os tamanhos de VM a utilizar quando estiver a criar scripts do PowerShell ou da CLI do Azure para implementar clusters do HDInsight.
Se precisar de mais de 32 nós de trabalho num cluster, selecione um tamanho de nó principal com, pelo menos, 8 núcleos e 14 GB de RAM.
Os únicos tipos de cluster que têm discos de dados são os clusters do Kafka e do HBase com a funcionalidade Escritas Aceleradas ativada. O HDInsight suporta tamanhos de disco P30 e S30 nestes cenários. Para todos os outros tipos de cluster, o HDInsight fornece espaço em disco gerido com o cluster. A partir de 07/11/2019, o tamanho do disco gerido de cada nó no cluster recentemente criado é de 128 GB. Isto não pode ser alterado.
As especificações de todos os tipos mínimos de VM recomendados utilizados neste documento são resumidas na tabela seguinte.
| Tamanho | vCPU | Memória: GiB | Armazenamento (SSD) temporário GiB | Débito do armazenamento temporário máximo: IOPS/MBps de Leitura/MBps de Escrita | Máximo do disco de dados/débito: IOPS | NICs máx./Largura de banda de rede esperada (Mbps) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000 / 187 / 93 | 16 / 16x500 | 4 / 3000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32x500 | 8 / 6000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000 / 187 / 93 | 16 / 16x500 | 4 / 3000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32x500 | 8 / 6000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2x500 | 2 / 250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4x500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8x500 | 4 / 1000 |
Para obter mais informações sobre as especificações de cada tipo de VM, veja os seguintes documentos:
- Tamanhos de máquinas virtuais para fins gerais: Dv2 série 1-5
- Tamanhos de máquinas virtuais otimizadas para memória: Dv2 série 11-15
- Tamanhos de máquinas virtuais para fins gerais: Série Av2 1-8
Todas as regiões suportadas
Nota
Para obter o identificador de SKU para utilização no Powershell e noutros scripts, adicione Standard_ ao início de todos os SKUs de VM nas tabelas abaixo. Por exemplo, D12_v2 tornar-se-ia Standard_D12_v2.
| Tipo de cluster | Hadoop | HBase | Interactive Query | Spark | Kafka |
|---|---|---|---|---|---|
| Cabeçalho: tamanho predefinido da VM | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Cabeçalho: tamanhos mínimos de VM recomendados | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Trabalho: tamanho predefinido da VM | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 com 2 discos S30 por mediador |
| Trabalho: tamanhos mínimos recomendados da VM | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| ZooKeeper: tamanho predefinido da VM | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper: tamanhos mínimos recomendados da VM | A4_v2 | A4_v2 | A4_v2 |
* = Tamanhos de VM para clusters do Pacote de Segurança Empresarial (ESP) do Spark
Nota
- A função de trabalho é conhecida como Região para o tipo de cluster HBase.